리더보드 1, 2등을 제외하고는 한끗 차이인 것 같습니다.

팀에서는 모두 Python을 쓰고 있지만 저는 R이 편해서 간단히 테스트해봤습니다.

평균 0, 표준편차 2로 랜덤 40000개 만든 다음, 마지막 15개만 2배해서 표준편차 차이를 1000번 계산해봤습니다.

평균적으로 표준편차가 0.001 정도 더 커지네요.

정확한 비교는 아닐 수 있지만, 표준편차는 0을 기준으로,  RMSE는 개별 관측치의 예측값을 기준으로 계산한다는 유사성을 생각해보면

지금 리더보드의 0.001 정도의 차이는 단 몇개의 관측치의 작은 차이로 충분히 벌어질 수 있는 차이로 보입니다.

게다가 지금 리더보드는 전체 Test셋이 아니라 그중 30%만을 대상으로 하고 있구요.

당장 눈앞의 등수도 중요하지만 10 등안에 들 수 있는 스코어를 얼마나 안정적으로 재현하고 반복할 수 있는가가 관건으로 보입니다.

그런데 14개 Y 묶음을 한번 튜닝하는데도 시간이 꽤 걸리다보니 한달이라는 대회기간이 더욱 빠듯하게 느껴지네요!

이런 것을 주최측에서 어느정도는 알고 있을 것 같고, 그래서 Train/Validation 분할 전략에 점수가 걸려있는 것이 아닌가 생각해봅니다.