분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
금융 문자 분석 경진대회
추가적인 질문이 있습니다. 확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하...
추가적인 질문이 있습니다.
확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하여 스미싱 (1)로 라벨링하여 True, False 여부를 기준으로 채점한다면, Threshold를 잡고난 뒤의 AUC를 채점하시나요? 이 때 사용하는 Threshold는 (1) 주최측이 정하는 것인지 (2) 0 ~ 1 사이의 Threshold를 시도했을 때 최적의 Threshold를 사용하시는 것인지 궁금합니다.
(2)의 경우 문제를 푸는 사람이 Threshold Optimization도 진행해서 성능을 평가해야할 지 궁금합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요 알렉스님,
결론부터 얘기하자면 사용자는 threshold를 아예 고려하지 않고 순수 확률로 제출해도 됩니다.
위의 사항은 AUC의 계산 원리를 이해하시면 자연스럽게 이해될 것입니다!
AUC는 쉽게 설명했을 때 모든 경우의 threshold로 시도했을 때에 대한 성능을 종합적으로 평가하는 산식입니다.
예를 들어 유저가 아래 예측치를 제출했다고 해봅시다.
[0.10 , 0.02 , 0.64 , 0.32]
이렇다면 데이콘 내부에선 threshold가 0.02 , 0.10 , 0.32 , 0.64일 때를 모두 고려하는 것입니다. 그렇다면 아래와 같이 4가지 경우로 라벨링이 됩니다.
1. [ 1, 0, 1, 1 ] ==>threshold가 0.02일 때
2. [ 0, 0, 1, 1 ] ==>threshold가 0.10일 때
3. [ 0, 0, 1, 0 ] ==>threshold가 0.32일 때
4. [ 0, 0, 0, 0 ] ==>threshold가 0.64일 때
AUC는 위의 4가지 경우에 대해서 각각 성능(fpr과 tpr)을 따져본 뒤 종합적으로 성능이 좋은지 않 좋은지를 평가하는 것입니다.
정리하자면 사용자가 확률값으로 제출하면 데이콘 내부에서 각 threshold를 시도했을 때의 성능을 종합하여 평가합니다.
그러므로 사용자는 threshold를 고려하실 필요 없습니다.
감사합니다.