겨울맞이 대박할인
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Aimers 8기 : 모델 경량화 온라인 해커톤
같은 파일 다른 점수
뭘해도 점수가 오르질 않아서 이전 최고 점수 파일을 다시 제출해봤는데, 점수가 0.12점이 떨어졌습니다. 평가 서버가 불안정한 걸까요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안내되고 있는 내용과 같이 LLM 기반 모델의 비결정적 실행 특성 및 평가 서버 환경(시스템 부하, 스케줄링 등)에 따라, 동일한 제출물이라 하더라도 제출 시점별로 리더보드 점수에 일정 수준의 변동이 발생할 수 있습니다.
이 변동 폭은 적용한 경량화 기법에 따라 수치적 안정성 특성이 다르게 나타날 수 있으며, 이를 최소화하는 방법론을 선택하는 것 역시 모델 최적화 설계 과정의 중요한 요소입니다.
다만 이러한 변동성은 구조적으로 불가피한 범위가 존재하며, 해당 오차 범위 또한 대회 평가 구조에 포함된 요소로 의도된 사항입니다.
이에 따라 평가 서버에서 실제로 측정·기록된 리더보드 점수만을 공식 성능으로 인정합니다.
따라서 동일한 제출 횟수 제한 내에서 동일 제출물을 반복적으로 제출하여 최고점을 탐색할지, 추가 실험을 진행하여 더 높은 최고점을 탐색할지는 참가자 선택 사항입니다.