안녕하세요. 대회에 참가하고 있는 학생입니다.

validation f1_score와 test f1_score의 간극이 너무 커 도저히 해결할 방법이 떠오르지 않아 질문글을 남기게 되었습니다.

현재 validation f1_score는 0.95555이고 test f1_score는 0.3 중후반이 나오고 있습니다.

각각 모델 또한 f1_score가 0.9가 넘어간 상태입니다. 각각의 label 별 accuracy도 괜찮은 편입니다.

하지만 결과물을 제출하면 0.3 중후반대에 머물고 있습니다.

제가 validaition f1_score과 test f1_score간에 간극이 생각하는 이유로는

1. train 데이터와 test 데이터의 라벨 비율이 달라서 validation f1_score와 test f1_score가 다를 수있다.
2. model이 과적합 되었다.
3. inference코드에 문제가 있다.

그러하여 확인하기 위해 test 영상과 제출 값들을 직접 200개가량 제출본이랑 영상이랑 비교해보았습니다. 하지만 소수 몇개 뺴고는 정답이었습니다.

그러하여 더욱 미궁에 빠지게 되었고 도저히 해결을 할 방법이 떠오르지 않는 단계까지 도달 하였습니다.

혹시 저와 같은 문제를 겪으신 분 계시는가요? 있으시면 도움 주시면 감사하겠습니다. ㅠㅠㅠ

모델 및 데이터 설명:

모델은 crash+ ego-involve만 분류하는 모델과 weather + timing만 분류하는 모델을 따로따로 만들었습니다.

crash+ ego-involve만 분류하는 모델은 slowfast_r50 pretrained 모델을 사용하였고 weather + timing모델은 efficentnetv2_s 모델을 사용하였습니다.

crash+ ego-involve만 분류하는 모델 영상을 input_data로 사용하였고

weather + timing은 모델은 훈련할 때는 영상을 frame 단위로 쪼개 이미지를 input_data로 사용하였고 inference 단계에서는 쪼갠 이미지를 input으로 넣고 같은 영상끼리의 output 데이터를 합쳐 classificaion하도록 만들었습니다.

loss는 focal loss를 사용했습니다.