방금 데이콘에서 아래와 같은 이메일을 받았습니다.

데이콘에서 정의하는 제출과 관련된 치팅은 "인간이 예측한 값, 검색 등을 통한 수기 작성 등의 제출"입니다.

이번 대회에서 문제가 되는 부분은 시점에 따른 Leakage이고요.

지금까지 공유, 공지된 내용으로 Leakage의 경우 패널티는 없고, Leakage 활용시 최종 평가에서 실격처리됩니다.

제 스코어가 높았던 이유는 이틀 동안 파라미터 튜닝하고 테스트하기 위해서 스크립트를 작성하는 과정에서 shift(lead)하지 않은 target 변수를 지정해서 입니다.

당연히 평가 과정에서 실격 사유에 해당하지만, 코드를 통해서 재현이 가능하므로 치팅에는 해당하지 않습니다.

이 대회는 다른 대회와 달리 시점의 문제, 외부데이터를 통한 정답 확인 가능이라는 점에서 운영이 쉽지 않다는 것을 이해합니다.

그러나 평가 대상자 선정 방법 등이 공지되지 않아 모호한점이 많았고, 저는 질문을 통해 명확하게 짚고가려고 했습니다.

그런데 데이콘은 Leakage는 실격 사유에 해당하지만 패널티는 없다고 했고, 다른 참여자의 "리더보드 초기화" 요청에는 불가능하다고 답을 했습니다.

대회 초기에 참여자가 몰리는 특성상 리더보드 초기화시 참여자 수가 급감할 것이기 때문이라고 뇌피셜 돌려봅니다.

저는 이왕 이렇게 된 거 지금이라도 전체 리더보드 초기화 혹은 이메일에서 등장하는 "데이콘의 재현가능한 스코어의 스케일"이상의 랭커의 리더보드 초기화를 주장합니다.

제출된 스크립트에 대한 치팅 여부 답장을 받으면 결과를 다시 공유하겠습니다.