Debt Default Prediction Hackathon: Spot the Signs of Default!

이번 대회에서는 처음으로 스태킹(Stacking) 앙상블 기법을 사용해보았습니다.
베이스 모델로는 LGBM, XGBoost, CatBoost, RandomForest, ExtraTrees를 적용하였고,
메타 모델로는 MLPClassifier를 활용해 최종 예측을 수행하였습니다.

초기에는 가능한 한 많은 파생 피처를 생성하여 모델에 적용한 뒤,
Feature Importance, mutual_info_classif 등을 활용해 중요도가 낮은 피처를 점차 제거하는 방식으로 접근했습니다.
여러 실험을 거쳐, 베이스 모델의 OOF 예측값과 원본 주요 피처를 함께 메타 모델에 넣었을 때 가장 높은 성능이 나왔습니다.
그 후 성능이 좋았던 파생 피처들을 추가해봤지만, 오히려 성능이 하락하는 결과를 보였습니다.

이번 대회를 통해 여러가지 시도와 실험을 해보면서 분류 태스크에 대해 좀 더 이해할 수 있었던 것 같아요