금융 문자 분석 경진대회

평가기준 예시 오류

2020.01.17 13:49 5,075 Views

공지에 나와있는 평가기준 예시대로 한다면,

등수가 커질수록 최종순위기 높아지게 되어있습니다.

예를 들면, 정확도 10등, 속도 1등 -> 10*0.7 + 1*0.3 = 7.3점

                  정확도 1등, 속도 2등 -> 1*0.7 + 2*0.3 = 1.3점


아무리 예시라고하지만, 어떤방법으로 점수가 계산되는지 수정부탁드립니다.



<참고. 공지글>

평가 기준 / 평가 비율

private_test data를 통해 나타나는 auc score 순위 / 70%

Inference time (스미싱 문자 예측에 걸리는 시간) 순위 / 30% 

(순위 동점자 발생시 Private score 순위가 더 상위권인 참가자가 더 높은 순위로 기록됨)


ex)

A팀 : auc score 순위 10위, Inference time 순위 1등 -> 10 * 0.7 + 1 * 0.3 -> 7.3점

B팀 : auc score 순위 7위,  Inference time 순위 8등 -> 7 * 0.7 + 8 * 0.3 -> 7.3점

auc score 순위가 더 높은 B팀이 더 높은 등수로 기록

로그인이 필요합니다
0 / 1000
euphoria
2020.01.17 14:54

제가 이해한 바로는, 점수가 작은 순이 순위가 높음을 의미한다고 생각했습니다. 그게 아닌가요...?

DACON.kn
2020.01.17 16:04

신한금융지주스님님 안녕하세요.
euphoria 님 답변대로 낮은 점수 순으로 순위가 결정됩니다. 즉, 가장 점수가 낮은 팀이 1등 입니다.
혼동의 여지가 있어 2020.01.17일 자로 대회 규칙에 추가 설명을 달았습니다.
감사합니다:)