태양광 발전량 예측 AI 경진대회

안녕하세요, 한계에 다다른 세아아부지입니다.

lightgbm으로 열심히 해보는데 스코어 내리는게 쉽지 않네요.

다른 분들은 어떤 모형을 쓰시는 지 궁금하네요.

deep learning으로 가야하는 걸까요??

오늘도 몇가지 내용과 시도를 공유합니다.

1. "TARGET"

태양광 발전량 예측이 주제니까 당연히 TARGET은 발전량일텐데요,

최댓값이 거의 100인 것을 보면 설비의 스펙과 지역의 특성상 최대 발전량 100 대비 상대적인 발전량으로 보입니다.

2. 이론적인 최대 발전량의 추측

Test 데이터의 마지막 81번째 7개 날짜의 발전량을 회색으로 그렸습니다.

그리고 빨간색은 optimazation을 활용해서 이 시기의 각 시간별 최대가능 발전량을 계산한 것 입니다.

실제 train 데이터에의 일별 그래프를 살펴보면, 아주 햇살이 좋고 조건이 좋아서 위의 빨간색 곡선과 같은 패턴을 보이는 날들이 있습니다.

아래의 그래프에 그런 날들을 빨간점으로 표시했습니다.

3. 느낌적이고 당연한 주기

train 데이터에서 각 날짜의 최대 발전량(보통 12시 전후)을 계산해서 그렸고, 그 중에서 위에서 말한 아주 발전이 잘 된 날은 빨간색으로 표시했습니다.

당연히 1년 365일의 주기가 나오고, 계절도 보입니다.

여름은 여름 같아보이고, 겨울은 겨울 같이 보입니다.

그런데 봄과 가을은 최대 발전량으로만 보기에는 애매합니다.

4. 다시 최적화

빨간 점들은 이미 이쁜 곡선을 보이지만 이차 함수 곡선에 optimization을 해봤습니다.

그리고 언제 최댓값을 가지는지를 확인해서 아래처럼 그림을 그렸습니다.

느낌이 옵니다. 하루마다 30분 단위로 48개 시점이 있는데요, 1~48로 번호를 썼고 25가 12:00 정오입니다.

같은 최댓값이라도 곡선으로 살펴보면 정오 이전에 이론적인 발전량이 최대가 되는 날이 있고, 반대로 정오 이후에 최대가 되는 날이 있는 것이 보입니다. 봄과 가을이겠죠?

앞선 글에서 댓글에서도 누군가가 언급했지만, 실제로 "해가 중천"인 시각은 계절에 따라 조금씩 달라진다고 합니다.

5. Test 데이터도 함께

같은 방법으로 Test 데이터 81개 각각에 대해서도 계절을 유추할 수 있습니다.

이렇게 유추한 계절을 활용해서 비슷한 계절의 시점들만 활용해서 모형 적합을 했는데요,

전체 데이터를 활용한 모형보다 점수가 안좋습니다.....

전체 고객이 아니라 '30대 남성'만으로 모형을 만들면 당연히 그들 안에서 특성이 잘 반영되겠죠?

비슷한 시기의 관측치만으로 모형을 만들었다면 당연히 그들안에서의 quantile이 더 잘 예측될 거라 생각했는데요.

아니네요.

정답 Quantile을 어떻게 정했을지 너무 궁금합니다.

앞선 글에서 "Quantile은 9개지만 정답은 하나일 가능성도 있다"는 의견도 있었는데요,

저는 아닐거라고 생각합니다.

-> 드디어 pinball loss의 개념을 이해했습니다;;; 각 시점별로 정답은 하나가 맞네요!

정답이 하나인 상황에서 under/over-estimated의 확률을 5:5로 본다면 결국 pinball loss는 MAE와 거의 동일한 지표가 됩니다.

실제값과 예측값 차이에 대해서 50% 확률로 0.9, 0.8, 0.7, 0.6 배의 loss를 얻고, 역시 50% 확률로 0.1, 0.2, 0.3, 0.4 배의 loss를 얻을거니까요.

실제 MAE를 평가지표로 두고 모형을 0.1 ~0.9 모든 예측값을 동일하게 적어 제출해봤는데요, baseline보다 안 좋게 나옵니다.

물론 제가 만든 모형 탓일 수도 있지만요ㅎㅎ

여러분은 어떻게 접근하고 계신지 궁금합니다.