분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
다른분들은 CV-LB 세팅 어떻게 하고 계신가요?
아직 제출은 몇번 안했지만 CV-LB가 굉장히 불안정한거 같아서 다른분들은 어떻게 하고 계신지 validation 점수는 어느정도 나오는지 궁금합니다. 저는 Holdout / Kfold / Test 셋 활용등을 고민했고 그 중 kfold 방식을 지금 쓰고있기는 합니다.
validation은 1.7 근방인데 LB는 1.84 정도이고 validation 0.1 감소시에 LB가 1.89으로 상승하기도 했습니다.
공유 감사합니다. 역시 CV-LB가 잘 안맞는것 같기는 하네요 ㅜㅜ 저도 제출시에 점수 변동폭이 커서 아마 Private는 복불복이지 않을까 싶습니다. 개인적으로 고민시에는 학습셋과 평가셋의 시기가 달라서 발생하는 문제인거 같은데, 시간이 안주어져서 어떻게 다른지를 모르는게 ㄲㄲ...
정말 복불복인 것 같습니다. 저도 train data와 test data의 특성 자체가 다른게 아닐까 하고 의심중입니다.
정말 복불복인거 같아서 다른분들도 그런지 궁금했는데, 다들 비슷한 상황인 것 같네요 ㅜㅡㅜ
저는 오히려 validation 보다 LB의 성능이 더 잘나오네요 ㅠㅠ
holdout으로 데이터셋 분할 할 때는 구간에 따라 차이가 정말 많이 나네요.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요~ 저는 random shuffle seed를 바꿔가면서 holdout 20% , 5fold cv 시도해봤는데 validation 성능은 2.0~2.3정도 나왔습니다. LB성능은 1.8~2.0정도 나왔는데 말씀하신대로 validation 성능이 향상될때 LB점수가 낮아지기도 했습니다.
예측결과를 일별로 보면 성능이 1점대 ~ 4점대로 차이가 크게 나서 private때 점수가 많이 바뀌지 않을까 싶습니다..!