DACON Monthly Article Sea Ice Prediction Using Satellite Image AI Competition

1. 평가

• 심사 기준: MAE / F1

※ F1 Threshold - 해빙 농도 15% (37.5)

※ F1 Score는 정답 해빙농도 5%~50% 사이 픽셀만 이용하여 계산

• Public Score : 2019년 월별 해빙 농도
• Private Score : 2020년 월별 해빙 농도
• 최종 순위는 선택된 파일 중에서 채점되므로, 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함. (최종 파일 미선택시 처음으로 제출한 파일로 자동 선택됨)
• 대회 직후 공개되는 Private Score 랭킹은 최종 순위가 아니며, 코드 검증 후 최종 수상자가 결정됨

산식 코드

import numpy as np

def mae_score(true, pred):
    score = np.mean(np.abs(true-pred))
    
    return score

def f1_score(true, pred):
    target = np.where((true>250*0.05)&(true<250*0.5))
    
    true = true[target]
    pred = pred[target]
    true = np.where(true < 250*0.15, 0, 1)
    pred = np.where(pred < 250*0.15, 0, 1)
    
    right = np.sum(true * pred == 1)
    precision = right / np.sum(true+1e-8)
    recall = right / np.sum(pred+1e-8)
    score = 2 * precision*recall/(precision+recall+1e-8)
    
    return score
    
def mae_over_f1(true, pred):
    mae = mae_score(true, pred)
    f1 = f1_score(true, pred)
    score = mae/(f1+1e-8)
    
    return score

2. 개인 또는 팀 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 단체 혹은 기관 참여시 별도의 절차가 필요합니다. (More > 공지사항> 게시글 확인)
• 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능
• 팀 구성 방법: 팀 페이지(https://www.dacon.io/competitions/official/235706/team/)에서 팀 구성 안내 확인
• 팀 최대 인원: 3 명

                   * 동일인이 개인 또는 복수팀에 중복하여 등록 불가.

3. 외부 데이터 및 사전 학습 모델

• 외부데이터 및 사전학습 모델 사용 불가
• 대회 진행 중 외부 데이터 사용이 의심되는 경우 코드 제출 요청을 할 수 있으며 요청 2일 이내 코드 미제출 혹은 외부 데이터 사용이 확인되었을 경우 리더보드 기록 삭제

4. 유저평가

• DACON Scholarship을 받고자 하는 팀은 유저 평가를 받아야 합니다.
• Private 순위 공개 후 코드 제출 기간 내 코드 공유 페이지에 코드 업로드
• 제목에 Private 순위와 Public 점수를 기입

예시) Private 1위, Public 점수 :0.98, LGBM 모델

• 대회 참가자는 공개된 코드 평가
• 코드 오류, 외부 데이터 사용 등 코멘트를 댓글로 작성

5. 유의 사항

• 1일 최대 제출 횟수: 3회
• 사용 가능 언어: Python, R
• 모델 학습에서 검증 혹은 평가 데이터셋 활용시(Data Leakage 등) 실격
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13

6. 대회문의

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [대회문의] 페이지에 질문을 올려 주시기 바랍니다.