월간 데이콘 기계 고장 진단 AI 경진대회

1. 평가

• 심사 기준: Macro F1 Score
• 1차 평가(Public Score): 테스트 데이터 중 랜덤 샘플 된 30%로 채점, 대회 기간 중 공개
• 2차 평가(Private Score): 테스트 데이터 중 나머지 70%로 채점, 대회 종료 직후 공개
• 최종 순위는 선택된 파일 중에서 채점되므로, 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 2개를 선택해야 함

2개의 선택 파일 중 높은 점수를 기준으로 최송 순위를 결정

(최종 파일 미선택시 또는 추가 제출 시 Public Score가 가장 높은 제출 파일로 자동 선택되므로 유의)

• 대회 직후 공개되는 Private Score 랭킹은 최종 순위가 아니며, 코드 검증 후 최종 수상자가 결정됨
• 대회 평가 규칙을 준수한 제출팀 중 Private Score를 기준으로 최종 순위를 결정

2. 개인 또는 팀 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 단체 혹은 기관 참여시 별도의 절차가 필요합니다. (More > 공지사항> 게시글 확인)
• 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 5 명

                   * 동일인이 개인 또는 복수팀에 중복하여 등록 불가.

• 1일 제출 가능 횟수: 3회

3. 데이터 허용 범위

• 대회 제공 데이터 이외의 외부 데이터 사용 금지
• 대회 제공 데이터 중 Test Dataset은 리더보드 제출을 위한 추론에만 사용 가능 (모델 학습 사용 불가능)
• Data Leakage (참고 : Data Leakage에 대한 개인적인 정리) 혹은 규칙 위반이 의심되는 경우 코드를 요청할 수 있음

4. 사전 학습 모델 허용 범위

• 사용에 법적 제약이 없고 논문으로 공개된 사전 학습된 모델(Pretrained Model Weight) 사용 가능
• 단, Test Dataset이 포함된 사전 학습 모델 사용 불가
• 사용하고자 하는 사전 학습된 모델에 Test Dataset이 포함되어 있는지 자체 확인이 불가능한 경우 dacon@dacon.io로 문의

5. 유저 평가

• 수상 인증서를 원하는 팀은 먼저 유저 평가를 받아야 합니다.
• Private 순위 공개 후 코드 제출 기간 내 코드 공유 페이지에 코드 업로드
• 제목에 Private 순위와 사용한 모델, 코드에 대한 keyword 기재

예시) Private 1위, LGBM 모델, 00전처리 기법 활용

• 대회 참가자는 공개된 코드 평가
• 코드 오류, 외부 데이터 사용 등 코멘트를 댓글로 작성

6. 유의 사항

• 1일 최대 제출 횟수: 10회
• 사용 가능 언어: Python, R
• 모델 학습에서 평가 데이터셋 활용 시(Data Leakage) 수상 제외
• 평가 데이터셋의 2개 이상의 샘플 추론 결과 혹은 Anomaly Score를 바탕으로 Threshold를 산정하는 것 또한 Data Leakage에 해당
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 엄격히 금지하고 있으며, 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13

7. 대회문의

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해 주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [토크] 페이지 대회 문의 게시글에 댓글을 올려 주시기 바랍니다.