재정정보 생성 AI 활용 검색 알고리즘 경진대회

Private Score 복원

2024.08.04 13:39 1,420 Views

안녕하세요. 코드 및 PPT 제출 규칙을 읽다가 의문이 생겨서 문의드렸습니다.

temperature를 0 이상으로 설정한 경우에는 동일한 답변을 완벽히 재현하기 어려운 걸로 알고 있습니다.

그렇다면 Private Score와 일부 차이가 존재하게 될텐데, 이 차이가 어느 정도일 경우에 "복원"했다고 판단하시는지 궁금합니다!


감사합니다:)

Login Required
0 / 1000
DACON.GM
2024.08.05 09:21

최종 제출 점수 재현이 100% 일치하지 않더라도, 순위가 변경되지 않을 수준의 차이는 감안하여 수상자를 결정하게 됩니다.
또한 해당 대회는 완벽히 동일한 답변을 재현하기 어렵지만, 답변 내 중요한 요소는 재현 과정에서도 일관적으로 답변 할 수 있어야하는 부분이 존재합니다.
여러 요소를 고려하여 재현 여부를 판단하게 되며, 대회 기간 동안 정상적인 방법으로 진행하였다면 재현 과정에서도 동일하게 특별한 문제가 발생하지 않을 것 입니다.