주차수요 예측 AI 경진대회

알고리즘 | 정형 | 회귀 | 교통 | MAE

Prize : 총 1,300만원
2,218명 마감

Practice

Overview Data Code (share) Talk Leaderboard

Submission

private 값 재현 답변 질문에 대한 의문

작성자 비공개

2021.08.03 13:48 1,297 Views

밑에 private 값 재현의 기준에 대한 답변을

순위 변동이 없는 범위에서의 결과는 재현 성공으로 간주합니다.

재현이 실패하였을 경우 순위 변동 혹은 수상 제외가 될 수 있습니다.

이렇게 답변을 해 주셨습니다.

의문이 드는게 이 경우 그러면 1등의 경우에는 제출을 계속해보면서 현재 리더보드 값을 재현하지 못하더라도 private값을 한없이 더 낮추는 값을 도출할 수 있을것으로 생각이 됩니다. (다른 팀들의 경우 순위 변동이 있으면 안되니 이렇게 하지는 못하겠죠.)

그리고 재현에 대한 정의는 해당 값을 똑같이 도출할 수 있어야 한다고 생각합니다. 대회기간이 지나고 값이 변동된다는 것은 대회의 의미가 퇴색된다고 생각합니다. 그리고 정상적인 경우라면 똑같은 값이 재현 안될 이유가 없다고 생각합니다.

읽어주셔서 감사합니다.

Comments 1개

로그인이 필요합니다

comment

0 / 1000

DACONIO

2021.08.03 16:46

안녕하세요, 작성자님.
먼저, 질문주신 "private score 재현 불가능한 상황"에 대해서,
결과값은 seed 고정이 불가능한 환경(cuda, multi gpu 등에 의한 난수값 고정 불가)등 의 사유로 정확한 재현이 불가능 할 수 있습니다.
두 번째로, "대회 종료 이후 더 우수한 private 구현"에 대해서,
대회 종료 후에 제출된 Submission 파일의 Score등을 함께 검사해 최종 순위를 판단하겠습니다.
또한, 코드 공유 게시판에 업로드한 파일의 재현된 점수가 대회 기간동안의 점수보다 우수해도 등수는 바뀌지 않습니다.
감사합니다.
데이콘 팀 드림.

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

외부데이터 사용시 데이터 첨부 방식에 대해 문의합니다.

Competition - 주차수요 예측 AI 경진대회

현재 글

private 값 재현 답변 질문에 대한 의문

Competition - 주차수요 예측 AI 경진대회

Likes 0