소득 예측 AI 해커톤

안녕하세요! private 2위를 차지한 트랙터입니다.

제가 시도한 것 중 크게 성능 향상이 있었던 방법은 이상치 제거와 gbr+mlp 앙상블이었습니다.

1. 이상치 제거
income_status column을 이용했습니다. 먼저 해당 column의 각 범주별 income 분포를 확인해보니 unknown과 under median 범주의 income 평균이 비슷함을 확인할 수 있었습니다. 이를 근거로 unknown 데이터를 under median으로 대체했습니다.
이후 income_status = under median/over median인 데이터를 나눠 IOR 기반으로 income에 대한 이상치 제거를 수행했습니다.

2.  gbr+mlp 
기존에 gbr만 사용하다가 mlpregressor와 앙상블을 했을 때 스코어가 3정도 올랐습니다. 단순 앙상블의 효과라기엔 xgb를 추가로 사용했을 때 큰 성능 향상이 일어나지 않았습니다. 이와 관련해 test set에 대한 각 모델의 예측 결과를 plot해 봤을 때 gbr의 경우 중위값인 500 주위에서 높은 빈도의 예측을 보였고, mlp는 gbr에 비해 비교적 넓은 범위로 균일하게 예측하는 것을 확인할 수 있었습니다. 이처럼 두 모델의 예측 양상이 서로 달라 두 모델의 예측을 평균 내어 사용했을 때 이점을 얻을 수 있었던 게 아닐까 싶습니다.

그 외 income 범위를 기준으로 한 5 fold stratified ensemble, feature engineering 등으로 성능을 높였습니다.
hyperparameter search는 .py file과 batch file을 이용해 수행하였습니다. 공개한 코드 외 hyperparameter search 코드는 아래 제 개인 github에서 확인하실 수 있습니다.
https://github.com/Sunbin-Lee/dacon-income

코드와 분석 내용에 대한 의견은 언제든 환영입니다!

감사합니다.