전력사용량 예측 AI 경진대회

시계열 | SMAPE | 한국에너지공단 | 전력

  • moneyIcon Prize : 1,800만원
  • 2,549명 마감

 

혹시 public dataset에 변화가 생겼나요?

2021.06.15 00:51 1,537 Views

어제까지 submission 시, 항상 5~6 사이의 점수가 나왔습니다.


오늘 하이퍼파라미터 튜닝을 하고 submission을 하니 갑자기 8점대의 점수가 나오길래

하이퍼파라미터 튜닝 없이 모델을 만들어 제출하니 여전히 7~8점대의 점수가 나오네요.


혹시 뭔가 오류가 발생한 건지 확인 부탁드립니다!

로그인이 필요합니다
0 / 1000
DACONIO
2021.12.22 16:43

안녕하세요. 동준이님

내부 확인을 해보았으나 오류가 발생하지 않았었습니다.

감사합니다.
데이콘 드림

Statistics
2021.06.17 17:47

나중에 Private 순위에서도 비슷한 현상이 생길 수 있습니다.
이전 질문/답을 살펴보면 Public/Private 50% 분할에서 건물단위로 나눴다는 답이 있거든요.

파라미터나 랜덤시드에 따라서 좀 더 예측이 잘 들어맞는 건물이 있고, 아닌 건물이 있을텐데
건물 수가 60개 밖에 안되기 때문에 어떤 30개 건물이 Private에 포함되어 있는가에 따라 순위가 크게 흔들릴 수 있다고 봐요:)

코드 유목민
2021.06.21 14:31

저도 이 의견에 동의합니다.
사실 public LB를 보면 0.x~0.0x 점수 차이가 있는데, 이는 건물 하나의 차이로도 뒤집어질 수 있다고 생각합니다.

동준이
2021.06.22 00:36

저도 동감합니다. 글에서 언급한 점수차이는 제 코드 실수로 인한 것이긴 했지만, 말씀하신 것처럼 건물별로 전력사용 양상이 다르기때문에 private평가 시 많은 변화가 생길 것 같네요.