[1주년 기념] 데이스쿨 최대 40% 할인 🎁
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
금융 문자 분석 경진대회
추가적인 질문이 있습니다. 확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하...
추가적인 질문이 있습니다.
확률값을 기반으로 탐지한 결과를 채점: 스미싱일 확률이 0.5 이상인 값들에 대하여 스미싱 (1)로 라벨링하여 True, False 여부를 기준으로 채점한다면, Threshold를 잡고난 뒤의 AUC를 채점하시나요? 이 때 사용하는 Threshold는 (1) 주최측이 정하는 것인지 (2) 0 ~ 1 사이의 Threshold를 시도했을 때 최적의 Threshold를 사용하시는 것인지 궁금합니다.
(2)의 경우 문제를 푸는 사람이 Threshold Optimization도 진행해서 성능을 평가해야할 지 궁금합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요 알렉스님,
결론부터 얘기하자면 사용자는 threshold를 아예 고려하지 않고 순수 확률로 제출해도 됩니다.
위의 사항은 AUC의 계산 원리를 이해하시면 자연스럽게 이해될 것입니다!
AUC는 쉽게 설명했을 때 모든 경우의 threshold로 시도했을 때에 대한 성능을 종합적으로 평가하는 산식입니다.
예를 들어 유저가 아래 예측치를 제출했다고 해봅시다.
[0.10 , 0.02 , 0.64 , 0.32]
이렇다면 데이콘 내부에선 threshold가 0.02 , 0.10 , 0.32 , 0.64일 때를 모두 고려하는 것입니다. 그렇다면 아래와 같이 4가지 경우로 라벨링이 됩니다.
1. [ 1, 0, 1, 1 ] ==>threshold가 0.02일 때
2. [ 0, 0, 1, 1 ] ==>threshold가 0.10일 때
3. [ 0, 0, 1, 0 ] ==>threshold가 0.32일 때
4. [ 0, 0, 0, 0 ] ==>threshold가 0.64일 때
AUC는 위의 4가지 경우에 대해서 각각 성능(fpr과 tpr)을 따져본 뒤 종합적으로 성능이 좋은지 않 좋은지를 평가하는 것입니다.
정리하자면 사용자가 확률값으로 제출하면 데이콘 내부에서 각 threshold를 시도했을 때의 성능을 종합하여 평가합니다.
그러므로 사용자는 threshold를 고려하실 필요 없습니다.
감사합니다.