DACON
search 구독 안내
noti 0

    MY XP

    XP 안내

    LEVEL 1

    다음 레벨까지 150 XP

    0/150 XP

    오늘의 XP

    0 / 800

    전체 XP

    0

    적립 XP

    0

    사용 XP

    0
    dacon logo

    Sign in with your SNS accounts

    google Sign in with Google facebook Sign in with Facebook
    Don't have an account? Sign Up
    Verify your email

    To sign up, you must verify your email. Do you want to resend the code?
    [Dacon] sign up verification

    Your email must be verified to complete the sign up process. Please verify your email below to complete.

    이용약관

    Privacy policy

    Consent to receive marketing information

    농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

    validation 점수와 public 점수 차이

    ixxi
    2022.01.27 09:26 1,997 Views
    comments 13

    정상과 병해가 있는 이미지의 비율로 stratified k fold를 해서 데이터셋을 나눴는데 validation f1점수는 0.96까지도 올랐었는데 제출해 보니 public 점수는 0.9정도밖에 안나오네요 ㅠㅠ 다른 분들도 혹시 차이가 많이 나시나요?아니면 stratified kfold를 한것이 문제였을까요?

    Comments 13개
    로그인이 필요합니다
    0 / 1000
    재색
    2022.01.27 10:55

    macro f1 score를 쓰신게 맞을까요?? 차이가 너무 크군요....

    ixxi
    2022.01.27 11:09

    혹시 베이스라인에 제공된 f1score 사용하면 되는거 아닌가요??  

    재색
    2022.01.27 11:24

    앗 그러면 잘못되지 않았을 것 같은데... 너무 많이 차이 나셔서 혹시나 싶어서 여쭤봤습니다.....

    ixxi
    2022.01.27 11:41

    혹시 stratified k fold릉 해서 분포에 차이 때문에 생긴 오차일까요?? 점수 계산 할때 모든 이미지를 한꺼번에 넣으시나요???

    재색
    2022.01.27 14:44

    점수 계산할 때, 모든 이미지를 넣는다는게 무슨 의미인지 잘 모르겠어요 ㅠㅠㅠㅠ

    비회원
    2022.01.27 11:17

    저도 그렇습니다 ㅠㅠㅠ 물론 0.9까지는 아니지만 2% ~ 3%의 차이가 있는 것 같아요..

    ixxi
    2022.01.27 11:20

    그쵸.. 너무 차이가 많이 나서 당황했네요.. 이미지 가로세로 비율을 고려하지 않은게 큰 손해였던걸까요..?

    IAB
    2022.01.27 13:39

    Validation과 Test의 이미지 Transform이 동일한가요??

    ixxi
    2022.01.27 22:33

    확인해 보니 validation에서 실수로 random horizontal flip이 들어갔었던 것 같네요 ㅠㅜ 근데 flip만으로 큰 차이가 있었을까요?? 감사합니다!

    비회원
    2022.01.27 13:58

    저도 모델마다 다른데 tf_efficientnet_b6_ns 사용했을 땐 validation이 0.955가 나와도 test에선 0.91밖에 나오지 않더라구요.. 대신 kfold는 사용하지 않았습니다.

    ixxi
    2022.01.27 22:34

    아 그렇군요 ㅠㅠ 감사합니다!

    yh9468
    2022.01.27 14:57

    특정 validation fold가 상당히 잘 나올때가 있습니다. 

    모든 fold에서 검증을 수행하면 96 이외에도 91 이렇게 나오는것이 있을꺼에요

    ixxi
    2022.01.27 22:34

    train 데이터에 주어진 라벨 25개 이외에 다른 라벨은 없는 거겠죠? 그때 없었다고는 했지만 워낙 test set이 trainset에비해 많다 보니..

    📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!
    to_list List
    이전 글
    데이터 피처 설명중에
    Competition - 집값 예측 AI해커톤
    Likes 6
    Views 1,060
    Comments 0
    3년 전
    현재 글
    validation 점수와 public 점수 차이
    Competition - 농업 환경 변화에 따른 작물 병해 진단 AI 경진대회
    Likes 10
    Views 1,997
    Comments 13
    3년 전
    다음 글
    json 파일에 있는 bbox
    Competition - 농업 환경 변화에 따른 작물 병해 진단 AI 경진대회
    Likes 8
    Views 2,039
    Comments 3
    3년 전