Credit Card Customer Segmentation AI Competition

안녕하세요! 조선대학교 경영학부에서 데이터분석하고 있는 과적합방지위원회입니다! 처음 제대로 대회에 참여해보는건데, 좋은 성과가 있어 너무 기분이 좋네요! 전체적으로 코드가 간단하게 보일 수도 있지만, 제출 가능 횟수를 최대한 활용하여 팀원들과 많은 방법들을 시도해봤습니다. (SMOTE, Hard/Soft Voting, Ensemble 기법 등)

1. GPU 사용
- 성능 향상에 가장 큰 영향을 준 요소는 아마도 GPU였던 것 같습니다.
- 코랩에서 A100 GPU과 L4 GPU를 활용했는데, 이때 점수가 초반에 약 0.68 후반까지 상승했던 기억이 납니다.

2. VIP Model 분리
- Macro F1 특성상 A와 B 클래스 예측 정확도가 전체 성적에 큰 영향을 준다고 판단했습니다.
- 그래서 AB 클래스만 따로 학습하는 모델을 만들었고, 여기서 점수가 0.70까지 오를 수 있었습니다.

3. VIP Model 보완
- B를 추가로 더 찾아보려고 했지만, B는 1개 외에는 도저히 확장이 어렵다는 결론에 도달했습니다.
- 대신 A 클래스 예측에 집중했고, 이를 위해 SMOTE, Soft/Hard Voting, Ensemble 등 다양한 기법들을 실험해봤지만 대부분 CatBoost가 예측한 A 클래스에 포함되거나 유의미한 점수 차이가 없었기에, 최종적으로 VIP Moel 역시 CatBoost 단일 모델로 결정하게 되었습니다.

4. C와 D 혼동 분류
- C 클래스의 예측 성능을 높이기 위해 class weight를 조정한 결과, 점수가 유의미하게 상승했습니다.
- AB Segment 제거, 또한 Optuna를 무작정 사용하지 않고 오버피팅을 고려해 학습을 시킨게 최종 성적에 긍정적인 영향을 준 것 같습니다.

시험기간이라 800개의 피처를 모두 확인하기 어려웠고, 유의미한 관계성을 찾으려고 여러 방법을 시도해봤지만 쉽진 않았네요. 오늘 다른 참가자분들의 코드를 보면서 배울 점이 많다고 느꼈습니다. 모두 고생 많으셨습니다!