<2차 예선> 데이터·AI를 활용한 물가 예측 경진대회 : 농산물 가격을 중심으로

위의 식이 2차 예선 평가 점수인 것으로 알고 있습니다. 다만 해당 평가 점수를 따를 경우 제출물 선정 기준이 모호하다는 문제가 있어 질문드립니다!

A - NMAE : 0.1 / 추론시간 : 10초

B - NMAE : 0.43 / 추론시간 : 5초

일 경우, A는 현재 리더보드에도 없는 점수임에 반해, N값에 따라 얼마든지 베이스라인인 B의 최종 점수가 더 좋게 나올 수도 있게 됩니다.

이러한 N에 따른 최종 점수의 변동은, 제출물 선정에 있어 큰 어려움을 준다고 생각하며 대회의 취지를 파악하기 어렵게 만든다고 생각합니다.

위의 예시와 유사한 상황은 팀 내 여러 제출물 사이에서 충분히 나올 수 있는데, N에 대한 그 어떠한 정보도 없으면 제출물 고르는 것이

순전히 운의 영역으로 넘어갈 수 있게됩니다.

N은 규정상 비공개니, 가령 제출물 선정에 있어 높은 점수의 제출물을 내는 것이 해당 기준에도 불구하고 더욱 바람직 하다거나, 이번 대회는 점수보단 빠르게 예측을 요하는 곳에 필요하다거나 하는 식의 취지라도 알게 된다면, 남은 일정 진행에 있어 큰 도움이 될 것 같습니다.

해당 점수는 N에 따라 무조건 속도가 빠른 것이 가장 좋을 수도, 속도는 전혀 필요 없고 NMAE만 낮은 것이 좋을 수도 있기에, 운이 아닌 합리적인 기준을 바탕으로 제출물을 선정하기 위한 적절한 가이드라인을 알게 되면 좋을 것 같습니다.