태양광 발전량 예측 AI 경진대회

알고리즘 | 정형 | 회귀 | 에너지ㅣPinball Loss

  • moneyIcon Prize : 600만원
  • 2,313명 마감

 

다른분들은 CV-LB 세팅 어떻게 하고 계신가요?

2021.01.06 12:39 5,090 Views

아직 제출은 몇번 안했지만 CV-LB가 굉장히 불안정한거 같아서 다른분들은 어떻게 하고 계신지 validation 점수는 어느정도 나오는지 궁금합니다. 저는 Holdout / Kfold / Test 셋 활용등을 고민했고 그 중 kfold 방식을 지금 쓰고있기는 합니다.


validation은 1.7 근방인데 LB는 1.84 정도이고 validation 0.1 감소시에 LB가 1.89으로 상승하기도 했습니다.

로그인이 필요합니다
0 / 1000
asdff
2021.01.06 21:26

안녕하세요~ 저는 random shuffle seed를 바꿔가면서 holdout 20% , 5fold cv 시도해봤는데  validation 성능은 2.0~2.3정도 나왔습니다. LB성능은 1.8~2.0정도 나왔는데 말씀하신대로 validation 성능이 향상될때 LB점수가 낮아지기도 했습니다. 
예측결과를  일별로 보면 성능이 1점대 ~ 4점대로 차이가 크게 나서 private때 점수가 많이 바뀌지 않을까 싶습니다..!

TEAM-EDA
2021.01.06 22:18

공유 감사합니다. 역시 CV-LB가 잘 안맞는것 같기는 하네요 ㅜㅜ 저도 제출시에 점수 변동폭이 커서 아마 Private는 복불복이지 않을까 싶습니다. 개인적으로 고민시에는 학습셋과 평가셋의 시기가 달라서 발생하는 문제인거 같은데, 시간이 안주어져서 어떻게 다른지를 모르는게 ㄲㄲ...

deepstat
2021.01.08 13:23

정말 복불복인 것 같습니다. 저도 train data와 test data의 특성 자체가 다른게 아닐까 하고 의심중입니다.

TEAM-EDA
2021.01.08 15:47

정말 복불복인거 같아서 다른분들도 그런지 궁금했는데, 다들 비슷한 상황인 것 같네요 ㅜㅡㅜ

최정명
2021.01.18 16:34

저는 오히려 validation 보다 LB의 성능이 더 잘나오네요 ㅠㅠ
holdout으로 데이터셋 분할 할 때는 구간에 따라 차이가 정말 많이 나네요.