Validation F1 score와 제출 결과 F1 score가 많이 차이 나는데 왜 그럴까요..??

건설기계 오일 상태 분류 AI 경진대회

당근E

2022.12.01 23:58 2,572 조회

validation F1 score는 0.81로 나오는데 결과 제출 score는 0.49가 나오네요..

다른 참가자분들도 이렇게 차이가 많이 나오나요..??

댓글 3개

로그인이 필요합니다

comment

0 / 1000

HD현대_길자반

2022.12.02 08:05

Test data가 학습에 들어갔을까요? 상당히 과적합이네요.

이루노

2022.12.02 08:12

1. macro f1 score가 맞나요?
일반 f1 score와 macro f1 score는 다릅니다.
혹은 'micro' 등으로 옵션을 잘못 지정하셨을 수도 있습니다.

2. validation set에 과적합
val set을 기준으로 모델 설계, 파라미터 튜닝, early stopping 등을 진행할 경우
모델이 val set에 과적합될 가능성이 있습니다.
이 경우 전체 학습 데이터셋을 train, val, test set으로 분리하여 문제를 해결할 수 있습니다.