Aimers 8기 : 모델 경량화 온라인 해커톤

같은 파일 다른 점수

2026.02.10 16:51 1,421 Views

뭘해도 점수가 오르질 않아서 이전 최고 점수 파일을 다시 제출해봤는데, 점수가 0.12점이 떨어졌습니다. 평가 서버가 불안정한 걸까요?

Login Required
0 / 1000
DACON.GM
2026.02.10 16:54

안내되고 있는 내용과 같이 LLM 기반 모델의 비결정적 실행 특성 및 평가 서버 환경(시스템 부하, 스케줄링 등)에 따라, 동일한 제출물이라 하더라도 제출 시점별로 리더보드 점수에 일정 수준의 변동이 발생할 수 있습니다.

이 변동 폭은 적용한 경량화 기법에 따라 수치적 안정성 특성이 다르게 나타날 수 있으며, 이를 최소화하는 방법론을 선택하는 것 역시 모델 최적화 설계 과정의 중요한 요소입니다.

다만 이러한 변동성은 구조적으로 불가피한 범위가 존재하며, 해당 오차 범위 또한 대회 평가 구조에 포함된 요소로 의도된 사항입니다.
이에 따라 평가 서버에서 실제로 측정·기록된 리더보드 점수만을 공식 성능으로 인정합니다.

따라서 동일한 제출 횟수 제한 내에서 동일 제출물을 반복적으로 제출하여 최고점을 탐색할지, 추가 실험을 진행하여 더 높은 최고점을 탐색할지는 참가자 선택 사항입니다.