월간 데이콘 천체 유형 분류 대회

알고리즘 | 정형 | 분류 | 과학 | LogLoss

  • moneyIcon Prize : 154만원
  • 1,221명 마감

 

검증방법 어떻게하시나요?

2020.02.20 18:23 5,114 Views

다들 CV스코어와 리더보드가 일치하시나요?


저는 train셋을 이용해 train, val, test셋을 만들고 평가하는데 CV와 Test셋은 일정하나


리더보드는 갑자기 튀는 경우가 있네요


다들 어떠세요?

로그인이 필요합니다
0 / 1000
최정명
2020.02.20 22:47

저는 cv랑 비교했을때 0.005~0.006 정도 LB가 점수가 CV보다 안 좋게 나오네요.
크게 튄적은 없었던것 같습니다.

taegu
2020.02.21 16:46

그렇군요 저는 생각보다 심하게 과적합되는듯 합니다. 남은 기간 화이팅하세요!

지구본으로지구를
2020.02.22 09:44

어떤 모델을 사용하고 계신가요 저는 xgboost사용하고 있는데 저도 cv결과는 매번 달라지고 LB가  cv보다 0.3 정도 차이가 나서 어떻게 이 부분을 개선해야할지 조언을 얻고 싶습니다 

taegu
2020.02.22 14:41

저도 tree 모델 사용하고 있습니다. 
cv같은 경우는 seed고정을 하고 
LB의 경우 과적합을 줄여보세요.
class가 19개인데 LB test_set은 3천건 밖에 되지않아. CV를 신뢰할 지 LB를 신뢰할 지 감이 안잡히네요~