현재 리더보드 상위권 분들의 score가 비정상적으로 높은 것 같은데,

설마 주어진 test data 중 일부를 학습시킬때 그대로 사용하거나 validation으로 사용해서 튜닝시키지 않고도 그 정도로 높은 score가 나올 수 있는건가요?

물론 그렇게 점수를 얻었다면 공개된 test data에 오버핏되어서 private 스코어가 많이 깎이긴 하겠지만요...

제 노파심에는 이번 대회가 외부 데이터를 이용해서 학습을 할 수 있는 만큼 외부 데이터만을 통해서 학습하고 주어진 테스트 데이터를 학습이나 튜닝할때, 즉 train이나 validation으로 포함시키면 안될텐데, 기존 내부 데이터 이용하는 여타 대회처럼 그대로 학습할때 적용시키는 (고의이든, 실수이든) 분들이 계실 수 있을 것 같아 글 남겨보게 되었습니다.

만약 대회에 사용되는 public, private 데이터가 미리 구축해둔 일부 raw real image에 대하여 단순 augmentation으로 샘플수를 늘리고 딥페이크 방법을 적용해서 만든 AIGC를 포함시켜 전체 데이터셋을 만든 다음 단순히 랜덤하게 public, private로 쪼갠거라면 public과 private의 distribution이 어느정도 비슷하게 될텐데,

주최측에서 이런점을 염두하여 공개되지 않은 private 데이터셋을 현재 제공된 test data (public data)와 distribution을 다르게 했는지, 아니면 궁금해집니다.

만약 그러지 않았다면 공개된 test data를 모델을 학습하거나 튜닝시킬때 사용하게되면 general한 의미의 '데이터 분석'에서는 과적합 시키는 방법이라 올바른 방법은 아니지만 이 대회만 고려했을때는 public, private 모두 자명하게 성능을 올릴 수 있는 방법이 되니 부당한 점이 있다고 생각이 드는 것 같네요...

test data를 보면서 인사이트를 얻어 그것을 반영해서 모델을 구축하는 것까지는 그것까지 track하기 어렵고 test data가 공개되어있는만큼 어쩔 수 없어 허용한다고 하더라도,

제출된 최종코드를 확인하고 reproduce하는 과정에서 공개된 public data를 train 혹은 validation으로 사용한 흔적이 있으면 실격처리해야하는게 옳다고 생각이 듭니다. 2차평가 때는 평가기준에도 공개되어있는만큼 당연히 이러한 점을 고려할 것으로 예상되지만, 2차평가 대상자를 추출하는 과정에서 단순히 스코어 metric 결과만을 바탕으로 진행될 경우 test data를 train이나 validation에 포함시킨 제출물을 필터링할 수 없을 것 같아 주제넘게도 한번 의견 남겨보게 되었습니다..