Label 0 data의 weather labeling에 대하여

코스포 x 데이콘 자동차 충돌 분석 AI경진대회 채용

설빙더아이스

2023.03.12 02:12 1,511 조회

저는 지금까지 label 0 data를 labeling해서 학습시키고 있었는데요, 시간이 갈수록 test의 label 기준에 맞지 않는 방법으로 labeling 돼 있다는 생각이 드네요!

val loss, val f1, val acc 모두 더 나아졌음에도(validation set 여러 개로 실험) test f1 score가 많이 하락하네요

여러분들은 labeling을 하셨나요 아니면 그냥 있는 데이터만으로 학습하셨나요?

궁금합니다!

댓글 12개

로그인이 필요합니다

comment

0 / 1000

이세의인공지능

2023.03.12 13:30

저도 학습시키는 데이터 라벨 상태와 실제로 인간이 문제를 해결하고자 하는 방향(test데이터)이 일치하지 않는 것처럼 느껴져서 작업을 멈췄습니다..ㅎ 점수를 더 올리려면 다시 라벨링을 하면 되겠지만요..

설빙더아이스

2023.03.13 00:59

저도 같은 느낌을 받고 있습니다.. 나중에 이세의인공지능님 코드 꼭 한 번 보고싶네요

욱근

2023.03.12 16:33

직접 봐도 비가오는건지, 눈이오는건지 헷갈리는 데이터도 많아서 포기했습니다..

설빙더아이스

2023.03.13 00:59

저도 그렇네요... 맞게 학습을 하는건지 의문이 듭니다 ㅎㅎ

안녕해요

2023.03.13 10:14

저도 Label 0 데이터를 모두 labeling해서 학습에 사용했는데 성능 향상에 큰 영향이 없었습니다...
training 영상들을 직접 보면서
1. crash와 non-crash 데이터 사이에 해상도 차이
2. 동영상 구석에 있는 글자들
등 crash, non-crash 데이터 차이로 인해 weather, timing을 학습하는데 Label 0 데이터를 사용하는 것이 별 효과가 없었던 것 같습니다.
오히려 crash 데이터들의 weather, timing을 직접 다시 labeling해 사용했을 때 score 향상이 가장 컸습니다!

설빙더아이스

2023.03.13 10:19

저는 label 0 data를 labeling하면서 원래 데이터도 다시 labeling했는데 효과가 있는 모양이군요!
timing data는 그대로 두었는데 건드려볼걸 그랬네요..
좋은 답변 감사합니다!