농업 환경 변화에 따른 작물 병해 진단 AI 경진대회
validation 점수와 public 점수 차이
정상과 병해가 있는 이미지의 비율로 stratified k fold를 해서 데이터셋을 나눴는데 validation f1점수는 0.96까지도 올랐었는데 제출해 보니 public 점수는 0.9정도밖에 안나오네요 ㅠㅠ 다른 분들도 혹시 차이가 많이 나시나요?아니면 stratified kfold를 한것이 문제였을까요?
혹시 베이스라인에 제공된 f1score 사용하면 되는거 아닌가요??
앗 그러면 잘못되지 않았을 것 같은데... 너무 많이 차이 나셔서 혹시나 싶어서 여쭤봤습니다.....
혹시 stratified k fold릉 해서 분포에 차이 때문에 생긴 오차일까요?? 점수 계산 할때 모든 이미지를 한꺼번에 넣으시나요???
점수 계산할 때, 모든 이미지를 넣는다는게 무슨 의미인지 잘 모르겠어요 ㅠㅠㅠㅠ
저도 그렇습니다 ㅠㅠㅠ 물론 0.9까지는 아니지만 2% ~ 3%의 차이가 있는 것 같아요..
그쵸.. 너무 차이가 많이 나서 당황했네요.. 이미지 가로세로 비율을 고려하지 않은게 큰 손해였던걸까요..?
Validation과 Test의 이미지 Transform이 동일한가요??
확인해 보니 validation에서 실수로 random horizontal flip이 들어갔었던 것 같네요 ㅠㅜ 근데 flip만으로 큰 차이가 있었을까요?? 감사합니다!
저도 모델마다 다른데 tf_efficientnet_b6_ns 사용했을 땐 validation이 0.955가 나와도 test에선 0.91밖에 나오지 않더라구요.. 대신 kfold는 사용하지 않았습니다.
아 그렇군요 ㅠㅠ 감사합니다!
특정 validation fold가 상당히 잘 나올때가 있습니다.
모든 fold에서 검증을 수행하면 96 이외에도 91 이렇게 나오는것이 있을꺼에요
train 데이터에 주어진 라벨 25개 이외에 다른 라벨은 없는 거겠죠? 그때 없었다고는 했지만 워낙 test set이 trainset에비해 많다 보니..
목록으로
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
macro f1 score를 쓰신게 맞을까요?? 차이가 너무 크군요....