SW중심대학 디지털 경진대회_SW와 생성AI의 만남 : AI 부문

리더보드에 표시되는 점수는 대회안내 -> 규칙 / 토크 탭의 평가 산식 관련 게시글에서 안내드린 것과 같이
Score = 0.5 × (1 − AUC) + 0.25 × Brier + 0.25 × ECE 로 계산되어 나오는 점수이고, 0에 가까울수록 높은 모델 성능을 의미합니다.

각 주요 산식에 대해서 상세하게 설명드리자면,
1) AUC (Area Under the ROC Curve): Receiver Operating Characteristic (ROC) 곡선 아래의 면적입니다. AUC 값이 클수록 모델의 분류 성능이 좋음을 의미합니다. 수식에서는 (1 - AUC)로 사용되므로, AUC 값이 클수록 (1 - AUC) 값은 작아지고, 전체 점수에 더 긍정적인 영향을 미칩니다.

2) Brier Score: 예측 확률과 실제 결과 간의 차이를 측정하는 지표입니다. Brier 점수는 낮을수록 좋은 모델임을 의미합니다.

3) ECE (Expected Calibration Error): 예측 확률과 실제 결과 간의 차이를 측정하는 또 다른 지표입니다. ECE 값이 낮을수록 모델의 예측 확률이 실제 결과와 잘 맞는다는 것을 의미합니다.