금융 문자 분석 경진대회

추가적인 질문이 있습니다. 확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하...

2019.11.22 14:11 3,737 Views

추가적인 질문이 있습니다.

확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하여 스미싱 (1)로 라벨링하여 True, False 여부를 기준으로 채점한다면, Threshold를 잡고난 뒤의 AUC를 채점하시나요? 이 때 사용하는 Threshold는 (1) 주최측이 정하는 것인지 (2) 0 ~ 1 사이의 Threshold를 시도했을 때 최적의 Threshold를 사용하시는 것인지 궁금합니다.

(2)의 경우 문제를 푸는 사람이 Threshold Optimization도 진행해서 성능을 평가해야할 지 궁금합니다.

로그인이 필요합니다
0 / 1000
DACONIO
2022.02.14 16:20

안녕하세요 알렉스님,

 

결론부터 얘기하자면 사용자는 threshold를 아예 고려하지 않고 순수 확률로 제출해도 됩니다.

위의 사항은 AUC의 계산 원리를 이해하시면 자연스럽게 이해될 것입니다!

 

AUC는 쉽게 설명했을 때 모든 경우의 threshold로 시도했을 때에 대한 성능을 종합적으로 평가하는 산식입니다.

 

예를 들어 유저가 아래 예측치를 제출했다고 해봅시다.

[0.10 , 0.02 , 0.64 , 0.32]

 

이렇다면 데이콘 내부에선 threshold가 0.02 , 0.10 , 0.32 , 0.64일 때를 모두 고려하는 것입니다. 그렇다면 아래와 같이 4가지 경우로 라벨링이 됩니다.

 

1. [ 1, 0, 1, 1 ] ==>threshold가 0.02일 때

2. [ 0, 0, 1, 1 ] ==>threshold가 0.10일 때

3. [ 0, 0, 1, 0 ] ==>threshold가 0.32일 때

4. [ 0, 0, 0, 0 ] ==>threshold가 0.64일 때

 

AUC는 위의 4가지 경우에 대해서 각각 성능(fpr과 tpr)을 따져본 뒤 종합적으로 성능이 좋은지 않 좋은지를 평가하는 것입니다.

 

정리하자면 사용자가 확률값으로 제출하면 데이콘 내부에서 각 threshold를 시도했을 때의 성능을 종합하여 평가합니다.

그러므로 사용자는 threshold를 고려하실 필요 없습니다.

감사합니다.