validation시 weighted f1 score 문의

도배 하자 유형 분류 AI 경진대회

2023.05.10 23:58 1,733 조회

저 같은 경우는 8:2로 split을 하고 실험을 진행했습니다.

weighted f1 score가 0.88까지도 나오는거 같은데 실제로 테스트 파일을 올려보면 0.6 수준에서 머무는데

성능 지표를 weighted f1 score로 하는게 맞는건가요 ..?

오히려 weighted가 아니라 macro로 하게되면 얼추 0.62 ~ 0.7인 것으로 보아 weighted가 아니라 macro로 성능을 확신해야 될 것 같기도 하네요..

로그인이 필요합니다

comment

0 / 1000

제출수늘려주세요

2023.05.11 09:15

자신의 cv를 믿는게 좋습니다 리더보드는 전체 테스트 중 일부를 보여주는 것 이기 때문에 퍼블릭 점수에 fit해버리면 overfit이 됩니다. cv를 더욱 올려보세요

Gwon22

2023.05.11 13:18

가장 높은 점수를 가진 데이터셋이 제출되기 때문에 결국 제출되는건 한 파일이라고 알고있는데...
오히려 그 파일을 만든 모델보다 다른 모델이 좀 더 점수가 잘 나와도 평가가 더 안좋게 되어서 그게 조금 걸리네요

제출수늘려주세요

2023.05.11 14:25

채점받을 데이터를 2개까지 정할 수 있습니다~

Gwon22

2023.05.11 15:15

알려주셔서 감사합니다 :)

현재 글

validation시 weighted f1 score 문의

대회 - 도배 하자 유형 분류 AI 경진대회

2년 전