안녕하세요, 평가 대상자 등 관련해서 문의드립니다.

1. "평가 대상자" 기준

보통 3위까지 수상하는 이전 대회에서 평가 대상자는 Private 스코어 기준 상위 10명이었던 것으로 알고 있습니다.

가끔 평가를 원하는 모든 사람이 제출할 때도 있었던 것으로 알고 있고요.

이번 대회의 경우 데이터 Leakage 관련 이슈 때문에 조금 더 복잡한 상황인데요,

상위 n명을 대상으로 할 경우 Leakage에 상관없이 어떻게 해서든 n등 안에 들어야 기회라도 있어서 애매할 것 같네요.

희망하는 모든 사람을 대상으로 할 경우 코드 검증에 꽤 많은 시간이 소요될 것 같기도 하구요.

이번 대회의 경우 어떻게 운영하실 예정인가요?

2.  "실격" 기준

데이터 처리 과정에서 다양한 실격 사례가 있을 수 있습니다.

직접적으로 "10분 이내" 데이터를 쓴 경우도 있을 수 있고, 이동 평균 등의 계산 과정에서 미래 데이터가 밀려 들어가는 사례도 있습니다.

직전 공지에서 경미한 수준이라 해도 엄격히 실격 처리를 할 것이라고 이해했습니다.

문제는 스코어의 재현인데요, 데이터 Leakage를 활용하여 상위 n등에 든 다음에 평가를 위해 제출한 스크립트에서는 Leakage를 제거할 수 있습니다.

이 경우 Private 스코어가 재현되지 않겠지만 스코어 미재현 자체가 실격사유는 아닌 것으로 알고 있습니다.

그럼 재현 여부는 평가와 무관하고 제출된 스크립트의 스코어를 기준으로 순위를 매기는 것인가요?

3. 평가 기준

대회 정보의  "평가" 항목을 보면 스코어밖에 없습니다.

평가를 위해 PPT를 제출할 때 전처리, 파라미터 최적화 등에 대한 배경 설명 등은 순위 결정에 직접적인 영향을 미치지 않는 것이 맞나요?

감사합니다:)