검증방법 어떻게하시나요?

월간 데이콘 천체 유형 분류 대회

검증방법 어떻게하시나요?

2020.02.20 18:23 6,000 Views

다들 CV스코어와 리더보드가 일치하시나요?

저는 train셋을 이용해 train, val, test셋을 만들고 평가하는데 CV와 Test셋은 일정하나

리더보드는 갑자기 튀는 경우가 있네요

다들 어떠세요?

로그인이 필요합니다

comment

0 / 1000

최정명

2020.02.20 22:47

저는 cv랑 비교했을때 0.005~0.006 정도 LB가 점수가 CV보다 안 좋게 나오네요.
크게 튄적은 없었던것 같습니다.

taegu

2020.02.21 16:46

그렇군요 저는 생각보다 심하게 과적합되는듯 합니다. 남은 기간 화이팅하세요!

지구본으로지구를

2020.02.22 09:44

어떤 모델을 사용하고 계신가요 저는 xgboost사용하고 있는데 저도 cv결과는 매번 달라지고 LB가 cv보다 0.3 정도 차이가 나서 어떻게 이 부분을 개선해야할지 조언을 얻고 싶습니다

taegu

2020.02.22 14:41

저도 tree 모델 사용하고 있습니다.
cv같은 경우는 seed고정을 하고
LB의 경우 과적합을 줄여보세요.
class가 19개인데 LB test_set은 3천건 밖에 되지않아. CV를 신뢰할 지 LB를 신뢰할 지 감이 안잡히네요~

현재 글

검증방법 어떻게하시나요?

Competition - 월간 데이콘 천체 유형 분류 대회

Likes 5

Comments 4

5년 전