저도 학습시키는 데이터 라벨 상태와 실제로 인간이 문제를 해결하고자 하는 방향(test데이터)이 일치하지 않는 것처럼 느껴져서 작업을 멈췄습니다..ㅎ 점수를 더 올리려면 다시 라벨링을 하면 되겠지만요..

직접 봐도 비가오는건지, 눈이오는건지 헷갈리는 데이터도 많아서 포기했습니다..

저도 Label 0 데이터를 모두 labeling해서 학습에 사용했는데 성능 향상에 큰 영향이 없었습니다...
training 영상들을 직접 보면서 
1. crash와 non-crash 데이터 사이에 해상도 차이
2. 동영상 구석에 있는 글자들
등 crash, non-crash 데이터 차이로 인해 weather, timing을 학습하는데 Label 0 데이터를 사용하는 것이 별 효과가 없었던 것 같습니다.
오히려 crash 데이터들의 weather, timing을 직접 다시 labeling해 사용했을 때 score 향상이 가장 컸습니다!

저도 직접 라벨을 봤는데 눈이 길에 조금 온 영상도 어떤 라벨은 눈이라고 되어있고, 아닌것 도 있고 그래서 결국 포기했습니다... 갈수록 날씨를 맞추는 것보다 Test set의 라벨링 한 사람의 분포를 따라가는 느낌이 드네요.

저는 그냥 있는 데이터만으로 학습을 진행했습니다. 그래서 그런지 혹은 제가 못해서 그런지 성능이 매우 낮습니다ㅜ

혹시 추가적인 라벨링없이 했을 경우에 성능이 몇까지 나왔는지 여쭤봐도 될까요?

저는 모두 라벨링한 후 애매한 데이터 200개 정도 삭제했더니 성능 향상이 있었습니다.