초전도체 임계온도 예측 AI 해커톤 - 월간 데이콘 쇼츠

1. 평가

• 평가 산식: NMAE (Normalized MAE)

import numpy as np

def NMAE(true, pred):
    mae = np.mean(np.abs(true-pred))
    score = mae / np.mean(np.abs(true))
    return score

• 1차 평가(Public Score): 테스트 데이터 중 랜덤 샘플 된 30%로 채점, 대회 기간 중 공개
• 2차 평가(Private Score): 테스트 데이터의 70%로 채점, 대회 종료 직후 공개
• 최종 순위는 선택된 파일 중에서 채점되므로, 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함

(최종 파일 미선택시 또는 추가 제출 시 Public Score가 가장 높은 제출 파일로 자동 선택되므로 유의)

• 대회 직후 공개되는 Private Score 랭킹은 최종 순위가 아니며, 코드 검증 후 최종 수상자가 결정됨
• 대회 평가 규칙을 준수한 제출팀 중 Private Score를 기준으로 최종 순위를 결정
• 동점자 발생의 경우, 기존 리더보드 순위 산정 방식을 따름 [링크]의 '리더보드 점수' 부분을 참고

2. 개인 또는 팀 참여 규칙

• 팀이 아닌 개인(1인)으로만 참가 가능합니다.
• 1일 제출 가능 횟수: 20회

3. 데이터 허용 범위

• 대회 제공 데이터 이외의 외부 데이터 사용 금지
• 대회 제공 데이터 중 Test Dataset은 리더보드 제출을 위한 추론에만 사용 가능 (모델 학습 사용 불가능)
• Data Leakage (참고 : Data Leakage에 대한 개인적인 정리) 혹은 규칙 위반이 의심되는 경우 코드를 요청할 수 있음

4. 사전 학습 모델 허용 범위

• 사용에 법적 제약이 없고 논문으로 공개된 사전 학습된 모델(Pretrained Model Weight) 사용 가능

5. 유저 평가

• 수상 인증서를 원하는 팀은 먼저 유저 평가를 받아야 합니다.
• Private 순위 공개 후 코드 제출 기간 내 코드 공유 페이지에 코드 업로드
• 제목에 Private 순위와 사용한 모델, 코드에 대한 keyword 기재

예시) Private 1위, LGBM 모델, 00전처리 기법 활용

• 대회 참가자는 공개된 코드 평가
• 코드 오류, 외부 데이터 사용 등 코멘트를 댓글로 작성

6. 유의 사항

• 1일 최대 제출 횟수: 20회
• 사용 가능 언어: Python, R
• 모델 학습에서 평가 데이터셋 활용 시(Data Leakage) 수상 제외
• 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 엄격히 금지하고 있으며, 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13

7. 대회문의

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해 주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [토크] 페이지 대회 문의 게시글에 댓글을 올려 주시기 바랍니다.