1. 리더 보드
평가 산식
- Score = 0.3 × DINO Component + 0.3 × Video Feature Component + 0.4 × Action Component
각 항목은 다음을 평가합니다.
DINO Component: 생성 영상의 프레임 단위 시각적 특징이 정답 데이터와 얼마나 유사한지 평가합니다.Video Feature Component: 생성 영상의 전체적인 시공간적 영상 특징이 정답 데이터와 얼마나 유사한지 평가합니다.Action Component: 생성 영상이 주어진 행동 조건을 얼마나 잘 반영했는지 평가합니다.
DINO Component와 Video Feature Component는 생성 영상을 공식 제출킷(submission_kit)을 통해 추출된 feature를 바탕으로 정답 feature와의 거리를 계산(Cosine Distance)합니다.
Action Component는 생성 영상에서 추정된 행동 정보와 기준 행동 정보 간의 오차(MAE)를 기반으로 계산됩니다.
※ 모든 제출 파일은 반드시 공식 제출킷(submission_kit)을 사용하여 생성해야 하며, 제출킷 내 make_submission_csv.py의 실행으로 생성된 결과 파일을 수동으로 수정하거나 비공식 방식으로 생성한 경우 평가 대상에서 제외될 수 있습니다. 최종 수상 후보에 대해서는 제출 결과의 재현 검증이 진행될 수 있으며, 검증 결과가 제출 내용과 일치하지 않을 경우 수상 또는 점수가 취소될 수 있습니다.
※ Score가 0에 가까울수록 좋은 점수에 해당합니다.
- Public Score : 전체 테스트 데이터(eval) 중 사전 샘플링된 30%
- Private Score : 전체 테스트 데이터(eval) 중 나머지 70%
2. 평가 방식
정량 평가(100%) : 리더보드 Private Score
- 코드 검증 과정에서 부정행위 등 문제점이 발견된 경우는 시상이 취소되며 코드 제출을 완료하고 코드에 문제가 없는 후순위 팀에게 수상
※ Private 리더보드 공개 후 코드 제출
- 26.08.20(목) 18:00 대회 종료 후 공개되는 Private 리더보드 각 트랙별 상위 7팀(예비 2팀 포함)은 26.08.21(금) 14:00까지 aix-server@inha.ac.kr의 메일로 Private Score를 재현할 수 있는 소스코드를 제출
- 제출한 코드는 Private Score 복원이 가능해야합니다.
- 학습은 학습 데이터(train)에 대하여 최대 4일 내, 단일 RTX PRO 6000 (VRAM 96GB)의 컴퓨팅 자원에서 작동 가능해야합니다.
- 추론은 평가 데이터(eval)에 대하여 1시간 내, 단일 RTX PRO 6000 (VRAM 96GB)의 컴퓨팅 자원에서 작동 가능해야합니다.
o 코드에 데이터 입/출력 상대 경로 포함
o 코드 파일 확장자: .py, .ipynb
o 코드와 주석 인코딩: UTF-8
o 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)
o 개발 환경(OS) 및 라이브러리 버전 기재
o Private Score 복원이 가능한 전처리, 학습, 추론 코드 파일 (필수)
o Private Score 복원이 가능한 모델 weight 파일 (필수)
o 추론(Inference) 코드 파일 (필수, 중요)
상금 900만 원
