2021 Ego-Vision 손동작 인식 AI 경진대회

1. 평가

1차 계량 평가, 2차 비계량 평가로 나누어 진행

1) 1차 평가에서 Private Score 기준 상위 코드 제출 심사 통과 상위 6팀 선발

2) 선발된 6팀을 대상으로 2차 평가 진행

3) 1차 평가(80%)와 2차 평가 점수(20%)를 합산하여 최종 순위 결정

①  1차 평가

ⅰ) 평가 산식 : logloss

ⅱ) 예측 대상 : 손 동작의 Label

ⅲ) Public Score : 자신의 모델 성능을 확인해 볼 수 있는 점수

          비공개 데이터셋의 33%

           리더보드 업데이트 : 제출 후 실시간 업데이트

ⅲ) Private Score : 최종 점수에 반영되는 Score

            비공개 데이터셋의 Public에 적용되지 않은 66%

             리더보드 업데이트 : 대회 종료 직후 자동 계산

② 코드 제출

ⅰ) 제출 대상 : 2차 평가를 받고 싶은 분 모두

ⅱ) 제출물 : 리더보드상 상위 점수를 복원한 수 있는 소스 코드

ⅲ) 제출 방법 : Dacon 코드공유 게시판에 업로드

ⅳ) 제출 기간 : 2021년 10월 14일 (목) ~ 2021년 10월 19일 (화)

③ 2차 평가 및 코드 검증 기간

ⅰ) 평가 대상 : 코드 제출 심사를 통과한 상위 6팀

ⅱ) 평가 기준 : 1차 평가 점수(80%), 모델 추론 시간(20%)

ⅲ) 일시 : 2021년 10월 19일 (화) ~ 10월 27일 (수) 진행

ⅳ) 규칙 : 코드 미제출 혹은 코드 검증 과정에서 규칙 위반 사항 (Data Leakage, 불법 데이터 사용 등)이 확인될 시, 2차 평가 및 수상 후보에서 제외

2. 코드 제출 방법

ⅰ) Private 순위 공개 후 코드 제출 기간 내 코드 공유 페이지에 코드 업로드

ⅱ) 제목에 Private 순위와 Public 점수, 사용한 방법 기입

예시 ) Private 1위, Public점수 : 0.98, NN Ensemble

ⅲ) 게시물 형식: .ipynb 또는 .twbx

iv) ipynb 파일 크기 제한: 20MB 이하

v) 대회 참가자는 공개된 코드 평가

vi) 코드 오류 등 코멘트를 댓글로 작성

3. 개인 또는 팀 참여 규칙

ⅰ) 개인 또는 팀을 이루어 참여 가능

ⅱ) 동일인이 개인 또는 복수 팀에 중복하여 등록 불가

ⅲ) 팀 병합 후 해체시 개인 참여 및 팀 등록 불가

iv ) 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능

ⅴ) 팀 구성 방법: 팀 페이지에서 팀 구성 안내

vi ) 팀 최대 인원: 5명

4. 사전학습모델 사용

ⅰ) 누구나 얻을 수 있고 법적 제약이 없는 사전학습 모델 사용 가능 (코드 제출시 사전학습에 사용된 모델 명시 필요)

5. 유의 사항

ⅰ) 리더보드 운영 관련 )

• 1일 최대 제출 횟수 : 3회
• 모델 학습에서 학습용(train) 데이터셋 외에 평가(test) 데이터셋 활용 시 Data Leakage로 간주하여 실격 처리
• 대회 진행 중 Data Leakage 및 규칙 위반 사항이 의심되는 경우 운영진이 코드 제출 요청을 할 수 있으며, 요청 2일 이내 코드 미제출 혹은 규칙 위반 사항이 확인되었을 경우 리더보드 기록 삭제
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점받고 싶은 파일을 선택해야 함

ⅱ) 동일인이 개인 또는 복수팀에 중복하여 등록 불가

ⅲ) 팀 병합 후 해체시 개인 참여 및 팀 등록 불가

ⅲ) 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능

ⅳ) 팀 구성 방법: 팀 페이지에서 팀 구성 안내

ⅴ) 팀 최대 인원: 5명

vi ) 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다.

6. 대회문의

ⅰ) 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.

ⅱ) 데이콘 답변을 희망하는 경우 '대회문의' 페이지에 질문을 올려 주시기 바랍니다.