태양광 발전량 예측 AI 경진대회

안녕하세요, 세아아부지입니다.

혼자 이것저것 시도한 것들과 의문인 것들을 공유합니다.

1. DNI, DHI보다는 GHI

대상이 "태양광" 발전인데요, DNI와 DHI를 합한 GHI가 있습니다.

단일 변수로 당일 발전량(TARGET)을 설명할 때 DNI, DHI보다 GHI가 설명력이 높습니다.

물론 모형에서도 GHI 파생변수들이 설명력이 좋구요.

2. lightgbm의 quantile objective와 pinball loss

모형적합과정에서 pinball loss를 어떻게 구현해야하나 고민을 했는데요, baseline예제에서처럼 lightgbm에서 objective를 'quantile'로 지정하면, metric도 역시 'quantile'로 지정되는데 이게 바로 pinball loss 더라구요.

그래서 lightgbm을 쓰면 평가지표의 설정에 대한 고민은 덜 수 있습니다.

대신 다른 알고리즘을 활용하기는 쉽지 않을 것 같습니다.

3. TARGET의 0.1, ... , 0.9 분위수의 의미

train 데이터와 test 데이터는 같을 수 밖에 없고, 실제 TARGET값도 하나일 겁니다.

그런데 "quantile"이라는 0.1, ... , 0.9 까지 9개 값을 예측해야하는, 직관적이지 않은 상황인데요.

다른 분이 이미 질문을 하셨더라구요. 어쨌든 설정된 답이 있고 맞추기만 하면 될 겁니다.

그런데, 그럼 주최측에서는 어떻게 답을 설정했을까?라는 고민이 뒤따르더라구요.

적당히 무난한 방법이 분포를 활용한 방법이 아닐까 생각합니다.

실제 TARGET값을 중심으로 표준편차 등의 특성으로 설명될 분포를 입혀서 9개 분위수를 만들지 않았을까 생각이 드네요.

4. 모형 적합 방향

test 81개 데이터 각각에 대한 0.1~0.9 분위수 예측값을 그린 그래프입니다.

(스코어 기준으로 1.98?)

등수와 상관없이 이쁜 예측 모형 결과를 만드려고 많은걸 고민했었는데요,

그래프가 이쁘게 나와서 만족했습니다.

물론 lightgbm의 quantile regression 활용했고 다양한 파생변수 만들었습니다.

그런데, 여기서 제가 뭘 했냐면, 그냥 0.1 분위수 예측값에 0.9 곱해서 좀 더 줄인다음 업로드해봤습니다.

스코어가 1.97로 줄어들더라구요.

0.1 분위수가 생각보다 작지 않게 예측이 되는 경향이 있는 것 같습니다.

이건 3.과 관련이 있을거라 생각하는데요, 지금 스코어를 계산할 때 쓰일 정답 quantile값들을 실제값이 아닙니다.

그럼 아무리 훌륭한 모형을 만들어도, 분포를 활용해서 만든 가상의 분위수를 설명하는건 한계가 생길 수 밖에 없습니다.

5. 약간의 고민

4.의 상황에서, 파생변수를 만들고 파라미터를 최적화하는 것보다 "정답 분위수 생성 방법"을 고민해서 방향을 설정하는 것이 나을 수 있겠다는 생각을 합니다.

A. 0.1 분위수를 계산할 때 alpha값을 꼭 0.1로 줘야할 필요가 있을까?

    (이미 앞에서 시도한 것처럼 0.09로 더 작게 주면 점수가 좋아질거니까요)

B. 꼭 quantile regression을 써야하나? 일반적인 regression을 해서 TARGET의 예측값(0.5 분위수로 가정)을 만들고,

    그 후 분포를 활용해서 나머지 8개 분위수를 추정해도 될 것 같은데?

시간을 많이 쓰면 안되는데 배우는 재미에 여러가지 시도를 하느라 푹 빠져있네요.

좋은 의견있으면 함께 공유해주세요:)