포디블록 구조 추출 AI 경진대회

평가 산식 문의

2023.01.07 13:06 1,807 조회

평가 산식이 Accuracy 라고 되어있는데

multi label의 모든 label에 대한 Accuracy인가요?

아니면 각각의 label에 대한 Accuracy 인가요?

예를 들어,

true label 이

A, B, C, D, E, F, G, H, I, J

0] 1, 0, 1, 0, 0, 0, 0, 0, 0, 0

1] 1, 0, 0, 1, 0, 0, 0, 0, 0, 0

일 때

예측이

0] 1, 0, 0, 0, 0, 0, 0, 0, 0, 0

1] 1, 0, 0, 1, 0, 0, 0, 0, 0, 0

이면

1) 0번 케이스는 C가 틀렸으므로 해당 케이스에 대한 정답은 0,

1번 케이스는 모두 맞으므로 1.

accuracy는 (1+0) / 2 = 0.5


2) 0번 케이스는 C틀림. 나머지 맞음 10개중 9개 정답

1번케이스는 모두 맞음. 10개중 10개 정답

accuracy는 (9+10) / 20 = 0.95



로그인이 필요합니다
0 / 1000
통계
2023.01.07 23:59

저도 갑자기 궁금하네요

DACON.GM
2023.01.08 16:56

안녕하세요 Redix6님,
테스트 샘플 이미지에서 각 A,B,C,D,E,F,G,H,I,J 의 타입 블록이 존재하는 지에 대한 이진분류 예측 값 토대로 평가합니다.
즉, 말씀해주신 내용 중 2번과 같이 평가됩니다.
감사합니다.