Solar Power Prediction AI Competition

Algorithm | Structured | Regression | Energy | Pinball Loss

Prize : KRW 6M
2020.12.09 ~ 2021.01.26 17:59 + Google Calendar
2,411 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

안녕하세요! quantile이라는 것이 어떻게 채점되는지 아시나요?????

휴먼러닝

2020.12.16 15:47 6,491 Views

안녕하세요! 다들 어떻게 모델링하고 계신지 궁금합니다.

그 중에서도 리더보드의 채점을 어떻게 이해하고 계신지 궁금합니다.

저는 test0부터 80까지의 day7과 day8의 qauntile을 예측하기에 test의 quantile값(ex. .01 .02 .03 ... .09)마다

실제값이 존재한다고 알고 모델링을 진행하였는데, 데이콘측에서는 quantile별 실제 값은 존재하지 않는다고 하네요.

pinball loss의 실제값 y는 어떤 실제값인지?
test의 quantile별 실제값이 존재하지 않는다면, 실제로 존재하지 않는 수를 예측하는 것이 이 공모전의 목표인지?
그리고 submission의 답안지는 실제로 값이 존재하지 않는데 어떤 기준으로 채워진 것인지?\

위의 세 가지 궁금증이 남는데요.

답을 알고계시는 분이 있다면 부담없이 댓글 남겨주시면 감사드리겠습니다!

감사합니다.

4 Comments

comment

0 / 1000

Jamm

2020.12.16 22:57

정답은 여느 대회의 정답값처럼 존재할 것입니다. 하지만 분류도 아니고 회귀문제인데 정확한 그 값을 턱 예측해서 제출하는것도 쉽지 않겠지요?
지금 이런 문제를 예시를 들어 설명하자면,
정답이 10이라고 가정을 합시다.  Quantile 0.1 에서의 예측값이 9라고 가정하면,
Loss   :   (10-9)*0.1 = 0.1
Quantile 0.9인 경우라면,
Loss   :   (10-9) * 0.9 = 0.9 가 될 것입니다.
이렇게 같은 값이라도 quantile 값에 따라서 점수가 달라집니다. 큰 quantile 값일수록, 정답보다 작게 예측한 경우에 많은 페널티를 주어서 정답보다 큰 값을 예측하도록 유도하고, 작은 quantile 일 수록 정답보다 크게 예측한 경우에 많은 페널티를 주어서 정답보다 작은 값을 예측하도록 유도합니다.
어떻게 보면 9개의 예측값을 이용해 '정답이 존재할 수 있는 범위'를 예측한다고 볼 수 있을 것 같습니다.
Quantile 값에 따른 비대칭형 MAE 라고 생각할 수 있을것 같기도 하고..
따라서 9개 열에 정답 데이터를 똑같이 넣고 제출하면 점수가 0.00이 나올 것입니다.
제가 이해하기로는 이런데, 이해가 되셨을지 모르겠습니다. 글로 쓰려니까 잘 안되네요...