[리더보드 평가 및 심사 결과]
1. 리더보드
- 평가 산식 : Balanced Accuracy
- Balanced Accuracy는 모호한 정보만 제공된 샘플(ambiguous)과 명확한 정보가 제공된 샘플(disambiguated)에서의 성능을 균형 있게 평가하기 위해, 두 그룹의 Accuracy를 각각 계산한 뒤 평균한 점수입니다.
- 단, 평가 공정성을 위해 각 샘플의 Ambiguous 여부는 참가자에게 공개되지 않습니다.
- Public Score : 전체 테스트 데이터 중 사전 샘플링된 약 60%
- Private Score : 전체 테스트 데이터 중 나머지 약 40%
2. 평가 및 심사 결과
- 1차 평가: 리더보드 Private Score(100%)
- 2차 평가: Private 리더보드 상위 15팀(예비 5팀 포함)의 산출물에 대한 심사위원 내부 평가
- 2차 평가 항목
- Hidden 데이터셋 평가는 2차 평가 대상자가 제출한 산출물(코드, 모델 등)을 기반으로, 운영진 보유 비공개 데이터셋에서 모델 성능을 측정하는 방식으로 진행
- 정량 평가 환산식 : (배점) X ((평가 대상팀 정량 점수) / (평가 대상팀 중 최고 정량 점수))^N (N은 조정 계수로 1~5 사이로 설정되며 비공개)
- 최종 수상팀은 행사 당일 결과 발표 및 시상에 참여
- 우수한 산출물은 향후 후속 연구자들에게 공개되어 기준 리소스로 활용될 수 있음
[제출자료 안내 및 제출 방법]
1. 1차 평가
1) [필수] 모델 예측 결과 파일(CSV)
- 제출 기한 : 26. 06. 29(월) 오전 10:00 까지
- 제출 방법 : [제출] 탭에 예측 결과 파일 업로드
※ 파일 제출 시 마다 순위가 가장 높은 파일이 자동으로 선택됨.
최종 채점받고 싶은 파일이 순위가 가장 높은 파일이 아닌 경우 채점 받고 싶은 파일을 직접 선택할 수 있음
※ 1일 최대 제출 횟수 : 5회
2. 2차 평가
1차 평가 종료 후 Private 리더보드 상위 15팀(예비 5팀 포함)은 2차 평가 대상팀으로 아래의 양식에 맞추어 코드, 발표 자료를 dacon@dacon.io 기한 내 메일로 제출
※ 메일 발송 시 제목을 '[팀명] 2026 성균관대학교 멀티모달 AI 챌린지 최종 산출물 제출' 로 통일
※ 제출 기한 : ~ 7. 2(목) 오전 10시까지
1) [필수] 코드 / 모델 / 외부데이터
- 제출 형태
⓵ Private Score 복원이 가능한 코드와 모델 파일
- 학습 코드(train)와 추론 코드(inference)는 반드시 분리하여 별도 코드 파일로 구성
- 코드 파일 형태는 .py 또는 .ipynb 가능
⓶ 외부 데이터 사용 시 사용한 모든 외부 데이터 파일
- 제출 양식
※ 제출한 코드는 오차 범위 내 Private Score 복원이 가능해야함
⓵ 코드와 주석 인코딩 : UTF-8
⓶ 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)
⓷ 개발 환경(OS) 및 라이브러리 버전 기재
2) [필수] 솔루션 발표 자료
- 제출 형태 : 발표 15분 분량의 자유 양식으로 문제 해결 솔루션 PDF로 제출
※ 시상식 당일 최종 상위 3팀의 발표는 '솔루션 발표자료(PDF)' 파일로 진행 * 기술적 오류 방지를 위해 PPT는 허용되지 않음
3) [필수] 참가 자격 증빙 서류
- 참가 자격 '대회 기간(6.1 ~ 6.29) 기준 재학생 및 휴학생 참여 가능, 졸업유예생 참여불가'을 증빙할 수 있는 서류 제출
- 재학증명서, 휴학증명서 등 참가 자격을 증빙할 수 있는 팀원 전체의 서류를 산출물과 함께 제출
7,200,000 KRW
