validation 점수와 public 점수 차이 - DACON

[1주년 기념] 데이스쿨 최대 40% 할인 🎁

[1주년 기념] 데이스쿨 최대 40% 할인 🎁

농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

validation 점수와 public 점수 차이

2022.01.27 09:26 1,926 조회

정상과 병해가 있는 이미지의 비율로 stratified k fold를 해서 데이터셋을 나눴는데 validation f1점수는 0.96까지도 올랐었는데 제출해 보니 public 점수는 0.9정도밖에 안나오네요 ㅠㅠ 다른 분들도 혹시 차이가 많이 나시나요?아니면 stratified kfold를 한것이 문제였을까요?

로그인이 필요합니다

comment

0 / 1000

재색

2022.01.27 10:55

macro f1 score를 쓰신게 맞을까요?? 차이가 너무 크군요....

ixxi

2022.01.27 11:09

혹시 베이스라인에 제공된 f1score 사용하면 되는거 아닌가요??

재색

2022.01.27 11:24

앗 그러면 잘못되지 않았을 것 같은데... 너무 많이 차이 나셔서 혹시나 싶어서 여쭤봤습니다.....

ixxi

2022.01.27 11:41

혹시 stratified k fold릉 해서 분포에 차이 때문에 생긴 오차일까요?? 점수 계산 할때 모든 이미지를 한꺼번에 넣으시나요???

재색

2022.01.27 14:44

점수 계산할 때, 모든 이미지를 넣는다는게 무슨 의미인지 잘 모르겠어요 ㅠㅠㅠㅠ

비회원

2022.01.27 11:17

저도 그렇습니다 ㅠㅠㅠ 물론 0.9까지는 아니지만 2% ~ 3%의 차이가 있는 것 같아요..

ixxi

2022.01.27 11:20

그쵸.. 너무 차이가 많이 나서 당황했네요.. 이미지 가로세로 비율을 고려하지 않은게 큰 손해였던걸까요..?

IAB

2022.01.27 13:39

Validation과 Test의 이미지 Transform이 동일한가요??

ixxi

2022.01.27 22:33

확인해 보니 validation에서 실수로 random horizontal flip이 들어갔었던 것 같네요 ㅠㅜ 근데 flip만으로 큰 차이가 있었을까요?? 감사합니다!

비회원

2022.01.27 13:58

저도 모델마다 다른데 tf_efficientnet_b6_ns 사용했을 땐 validation이 0.955가 나와도 test에선 0.91밖에 나오지 않더라구요.. 대신 kfold는 사용하지 않았습니다.

ixxi

2022.01.27 22:34

아 그렇군요 ㅠㅠ 감사합니다!

yh9468

2022.01.27 14:57

특정 validation fold가 상당히 잘 나올때가 있습니다.

모든 fold에서 검증을 수행하면 96 이외에도 91 이렇게 나오는것이 있을꺼에요

ixxi

2022.01.27 22:34

train 데이터에 주어진 라벨 25개 이외에 다른 라벨은 없는 거겠죠? 그때 없었다고는 했지만 워낙 test set이 trainset에비해 많다 보니..

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

to_list

데이터 피처 설명중에

대회 - 집값 예측 AI해커톤

현재 글

validation 점수와 public 점수 차이

대회 - 농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

좋아요 10

조회 1,926

댓글 13

3년 전

json 파일에 있는 bbox

대회 - 농업 환경 변화에 따른 작물 병해 진단 AI 경진대회