2023 전력사용량 예측 AI 경진대회

먼저 좋은 EDA 공유해주신 느아님 감사드립니다. 직전 대회 우승팀인 j_sean 팀의 코드 또한 많은 도움이 되었습니다.

대회를 진행하며 중점적으로 고민했던 점을 공유하고자 합니다.
1. Test셋 데이터가 예보데이터인 관계로, inference 과정에서 전부 활용 가능하다는 점을 고려하였습니다. 또한, 실제 기상 데이터인 train세트와 예보 데이터인 test세트의 차이로 인해 validation score와 LB score가 차이가 나는 것으로 추측하였고, 이에 따라 train셋에 과적합 되는것을 최대한 경계하며 대회를 진행하였습니다.

2. 건물별 vs 건물유형별 모델을 고민하였습니다. 건물별 모델을 구축할 때, train셋의 데이터가 모델당 2040개밖에 되지 않아 충분히 다양화 된 학습이 어려울 것으로 예상했고, 현실 세상에서 새로이 건물데이터가 들어올 시 예측이 어려워지는 점 또한 고려했습니다. 

3. LB상 성능이 가장 크게 오른 부분은 크게 3가지입니다.
1) Target 변수의 분포가 왼쪽으로 크게 치우쳐있었던 관계로, 이를 로그변환을 통해 정규분포와 가까운 형태로 변환해주는 작업을 통해 성능이 많이 올랐습니다.

2) EDA 과정에서 공휴일이나 주말과 같은 큰 이유없이 전력사용량이 다른 요일, 시간대와 차이가 나는 데이터를 다수 발견하였습니다. 임시휴무인것으로 추측하고 data cleaning 과정을 진행하였고 이를 통해 큰 성능 향상이 있었습니다.

3) 전력사용량 관련 통계량은 학습과정에서 feature importance가 큰 변수들이었습니다. 하지만 모델이 이에 지나치게 의존하는 것처럼 보였습니다. 따라서 colsample_bytree 파라미터를 낮게 설정하면서 다양한 feature를 학습하도록 유도하였고 큰 성능 향상이 있었습니다.

다들 수고하셨습니다.


코드 재현 과정에서 파라미터.csv를 저장하여 사용하였는데 해당파일이 필요하시다면 댓글로 남겨주시면 감사하겠습니다.