2023 전력사용량 예측 AI 경진대회

[Private 3rd] 건물 Type별 XGBoost 단일 모델

공동작성자

stroke
2023.09.01 21:43 2,813 조회 language

먼저 좋은 EDA 공유해주신 느아님 감사드립니다. 직전 대회 우승팀인 j_sean 팀의 코드 또한 많은 도움이 되었습니다.

대회를 진행하며 중점적으로 고민했던 점을 공유하고자 합니다.
1. Test셋 데이터가 예보데이터인 관계로, inference 과정에서 전부 활용 가능하다는 점을 고려하였습니다. 또한, 실제 기상 데이터인 train세트와 예보 데이터인 test세트의 차이로 인해 validation score와 LB score가 차이가 나는 것으로 추측하였고, 이에 따라 train셋에 과적합 되는것을 최대한 경계하며 대회를 진행하였습니다.

2. 건물별 vs 건물유형별 모델을 고민하였습니다. 건물별 모델을 구축할 때, train셋의 데이터가 모델당 2040개밖에 되지 않아 충분히 다양화 된 학습이 어려울 것으로 예상했고, 현실 세상에서 새로이 건물데이터가 들어올 시 예측이 어려워지는 점 또한 고려했습니다. 

3. LB상 성능이 가장 크게 오른 부분은 크게 3가지입니다.
1) Target 변수의 분포가 왼쪽으로 크게 치우쳐있었던 관계로, 이를 로그변환을 통해 정규분포와 가까운 형태로 변환해주는 작업을 통해 성능이 많이 올랐습니다.

2) EDA 과정에서 공휴일이나 주말과 같은 큰 이유없이 전력사용량이 다른 요일, 시간대와 차이가 나는 데이터를 다수 발견하였습니다. 임시휴무인것으로 추측하고 data cleaning 과정을 진행하였고 이를 통해 큰 성능 향상이 있었습니다.

3) 전력사용량 관련 통계량은 학습과정에서 feature importance가 큰 변수들이었습니다. 하지만 모델이 이에 지나치게 의존하는 것처럼 보였습니다. 따라서 colsample_bytree 파라미터를 낮게 설정하면서 다양한 feature를 학습하도록 유도하였고 큰 성능 향상이 있었습니다.

다들 수고하셨습니다.


코드 재현 과정에서 파라미터.csv를 저장하여 사용하였는데 해당파일이 필요하시다면 댓글로 남겨주시면 감사하겠습니다.

PDF
코드
로그인이 필요합니다
0 / 1000
똥안
2023.09.02 09:38

박솜님과 KFA팀분들의 코드를 보니
전체건물, 건물타입별, 건물별 앙상블 시 점수 향상의 여지가 있네요.
고생많으셨습니다.

bbeck
2023.09.14 08:56

파라미터 파일 공유해 주시면 감사하겠습니다

킹강인
2023.09.14 15:12

메일알려주세요

bbeck
2023.09.14 16:16
하울이
2023.12.03 16:22

파라미터 파일 5sseung@naver.com으로 공유해주실 수 있을까요?? 

20노세
2023.09.17 21:56

혹시 파라미터 파일 공유해 주실수 있나요?
songhyeonnoh5566@gmail.com입니다

닥또르
2023.09.26 15:03

파라미터 파일 공유 가능할까요? 가능하다면 공유 부탁드립니다.
appealjunu@naver.com 입니다.

zs1397
2023.10.02 15:37

저도 혹시 파라미터 파일 받을 수 있을까요?
chaeyeongi954@gmail.com입니다

광란의황태자
2023.10.16 16:17

파라미터 파일 공유 부탁드립니다. kiparang87@gmail.com 감사합니다.

sh3048
2023.10.25 16:47

삭제된 댓글입니다

나는나입니다
2023.11.25 13:34

안녕하세요. 파라미터 파일 공유 부탁 드립니다. 감사합니다. kimhc11@gamil.com

나는나입니다
2023.11.25 13:35

삭제된 댓글입니다

하라해라
2023.11.26 01:11

코드 너무 잘 보았습니다. 파라미터 파일 공유해주시면 감사하겠습니다.
haline6666@gmail.com

asdasdasdsa1fg
2023.11.27 00:56

파라미터 궁금해요 ckstj8027@naver.com

하울이
2023.12.01 20:50

파라미터 파일 공유해주실 수 있나요? 5sseung@naver.com 입니다

문성원
2023.12.03 20:30

코드 잘 봤습니다. 저도 혹시 파라미터 파일 공유 가능하실까요?
메일은 moonjmmm@naver.com 입니다.

동동17
2024.01.08 18:04

안녕하세요. 파라미터 파일 공유 부탁 드립니다. 감사합니다.duehdtjd12@naver.com