분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[안내] 공정한 평가 환경을 위한 운영 방식 조정 (금일 17:00 제출 일시 중단 및 리더보드 초기화)
안녕하세요, 데이콘입니다.
본 대회에 많은 관심과 참여를 보내주셔서 감사드립니다.
본 대회는 제출하신 코드가 평가 서버의 독립 컨테이너에서 직접 실행되고 LLM 추론까지 수행되는 실행형 채점 방식입니다. 이는 고성능 GPU 환경을 개별적으로 갖추지 않으셔도 모든 참가자가 동일한 환경, 동일한 모델로 공정하게 평가받으실 수 있도록 하기 위한 구조로, 그 특성상 건당 채점에만 최대 2시간이 소요됩니다. 이로 인해 제출이 몰리는 시간대에는 채점 대기열이 길어져 결과 확인까지 오랜 시간이 소요되는 상황이 발생하고 있습니다.
운영진은 원활한 채점 진행을 위해 채점 서버를 기존 대비 2배로 증설 완료하였습니다. 다만 실행형 채점 구조의 특성상 서버 증설만으로는 대기 시간을 안정적으로 보장하기 어렵고, 대기열이 누적될수록 제출 횟수와 무관하게 모든 참가자의 결과 확인이 늦어지게 됩니다. 이에 모든 참가자가 제출 후 결과를 빠르고 예측 가능하게 확인하실 수 있도록 아래와 같이 운영 방식을 조정합니다.
1. 금일 17:00부터 제출 기능이 일시 중단됩니다.
2. 일 제출 횟수가 3회에서 1회로 조정되며, 모든 참가자가 동일한 조건에서 다시 시작하실 수 있도록 참가자 간 공정성 차원에서 리더보드 초기화를 함께 진행합니다.
3. 작업은 금일 중 완료를 목표로 하고 있으며, 완료되는 즉시 공지사항을 통해 제출 재개를 안내드리겠습니다.
- 리더보드 초기화 없이 제출 횟수만 조정할 경우, 이미 제출 횟수를 사용하신 분들은 향후 며칠간 제출이 제한되는 형평성 문제가 발생합니다. 이를 방지하기 위해 리더보드 초기화를 결정하였으며, 초기화와 동시에 모든 참가자에게 제출 기회가 새로 부여됩니다.
- 금일 중 작업이 완료되는 경우, 오늘 이미 제출을 마치신 분들도 금일 다시 1회 제출이 가능합니다.
- 기존 제출을 통해 확인하신 점수와 실험 결과는 그대로 활용하실 수 있고, 검증된 코드를 다시 제출하시면 리더보드 기록도 동일하게 확보하실 수 있습니다. 즉, 이미 제출을 진행하신 분들일수록 잃으시는 것 없이 제출 기회를 추가로 확보하시게 됩니다.
- 대기열이 안정화되면 제출부터 결과 확인까지의 시간이 크게 단축되어, 제출 후 당일 결과를 확인하는 안정적인 실험 사이클이 가능해질 것으로 예상됩니다.
본 조치는 모든 참가자분들의 공정한 평가와 원활한 대회 진행을 위한 결정인 만큼 너른 양해 부탁드리며, 궁금하신 점은 토크 게시판을 통해 문의 주시기 바랍니다.
감사합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Co.,Ltd All rights reserved