제3회 국민대학교 AI빅데이터 분석 경진대회

1. 예선 리더보드

• 평가 산식 : Score = 0.6 × F1 + 0.4 × (1 − NMAE) [코드]

1) F1 = (2 × Precision × Recall) ÷ (Precision + Recall)

• Precision = TP ÷ (TP + FP)
• Recall = TP ÷ (TP + FN)

여기서

• TP(True Positive): 정답과 예측 모두에 포함된 공행성쌍
• FP(False Positive): 예측에는 있으나 정답에는 없는 쌍
• FN(False Negative): 정답에는 있으나 예측에 없는 쌍

2) NMAE = (1 / |U|) × Σ[min(1, |y_true - y_pred| ÷ (|y_true| + ε))]

• U = 정답 쌍(G)과 예측 쌍(P)의 합집합
• y_true: 정답의 다음달 무역량 (정수 변환)
• y_pred: 예측 무역량 (정수 반올림)
• FN 또는 FP에 해당하는 경우 오차 1.0(100%, 최하점)로 처리
• 오차가 100%를 초과하는 경우에도 1.0(100%, 최하점)로 처리

• Public score : 전체 테스트 데이터 100%
• Private score : 예선 종료 시점의 Public score

2. 평가 방식

• 예선 평가 : 예선 리더보드 Private 상위 20팀 선발
• 본선 평가 : 예선 Private 리더보드 점수 50% + 본선 Private 리더보드 점수 50%
• 모델 성능 항목 환산식 : 50 × ((팀의 Private 리더보드 점수) / (최고 점수)) ^ N

※ '최고 점수'는 최종 평가 대상자 중 Private 리더보드 순위가 가장 높은 팀의 점수를 기준으로 하며, N은 1~5 사이의 비공개 조정 계수로 설정

※ 본선 리더보드는 본선 진출자 대상으로 별도의 페이지에서 제공 예정