금융 문자 분석 경진대회

안녕하세요 알렉스님,

 

결론부터 얘기하자면 사용자는 threshold를 아예 고려하지 않고 순수 확률로 제출해도 됩니다.

위의 사항은 AUC의 계산 원리를 이해하시면 자연스럽게 이해될 것입니다!

 

AUC는 쉽게 설명했을 때 모든 경우의 threshold로 시도했을 때에 대한 성능을 종합적으로 평가하는 산식입니다.

 

예를 들어 유저가 아래 예측치를 제출했다고 해봅시다.

[0.10 , 0.02 , 0.64 , 0.32]

 

이렇다면 데이콘 내부에선 threshold가 0.02 , 0.10 , 0.32 , 0.64일 때를 모두 고려하는 것입니다. 그렇다면 아래와 같이 4가지 경우로 라벨링이 됩니다.

 

1. [ 1, 0, 1, 1 ] ==>threshold가 0.02일 때

2. [ 0, 0, 1, 1 ] ==>threshold가 0.10일 때

3. [ 0, 0, 1, 0 ] ==>threshold가 0.32일 때

4. [ 0, 0, 0, 0 ] ==>threshold가 0.64일 때

 

AUC는 위의 4가지 경우에 대해서 각각 성능(fpr과 tpr)을 따져본 뒤 종합적으로 성능이 좋은지 않 좋은지를 평가하는 것입니다.

 

정리하자면 사용자가 확률값으로 제출하면 데이콘 내부에서 각 threshold를 시도했을 때의 성능을 종합하여 평가합니다.

그러므로 사용자는 threshold를 고려하실 필요 없습니다.

감사합니다.