EDA로 올려놓은 내용이 상당히 난잡하기에

score 향상에 도움이 됐던 몇 가지 트릭을 공유합니다.

1. Feature Engineering

-feature engineering은 무턱대고 하는 것이 아닙니다. 상황에 따라 불필요한 경우가 있습니다.

(예를 들어 행 개수가 매우 적거나 원본 데이터의 신호가 없는 경우 > 모든 대회를 시작하기 전 이것부터 분석하기 바랍니다.

간혹 합성 데이터로 구성되어 원본 데이터에 유의미한 신호가 없는 경우가 있습니다)

전체 행(30k)을 50~300 정도로 나눈 값이 feature 개수의 경험적 최댓값이라고 합니다.

(Kaggle에서 배운 내용입니다)

이 대회의 경우 60~400개의 feature까지 안전한 값으로 생각됩니다.

제 경우 약 50개의 추가 feature도 안정적이었습니다.

그 이상은 overfitting 우려가 있지만,

최대한 많은 feature engineering을 시도해 보시는 걸 권장합니다.

이때 데이터 누수에 항상 주의하세요.

2.Class Imbalance

-모든 대회에는 클래스 불균형이 있기 마련입니다.

특히 이번 대회는 클래스 불균형 해소가 직접적으로 score에 영향을 미치니 다양한 방법을 시도해 보세요.

특정 방법들은 효과가 약할 겁니다. 왜 안 되는지도 고민해 보세요.

SMOTE 등의 증강 기법을 처음부터 쓰는 건 권장하지 않습니다.

제 경험상 SMOTE는 결과가 안 좋은 케이스가 많기에 항상 후순위로 두곤 합니다.

3.Overfit 관리

Optuna를 돌리다 보면 종종 Overfitting과 마주하게 됩니다.

Public score 상으로는 점수가 잘 나와도 결과적으로  private에서 뒤집히게 됩니다. (제 이전 대회들이 그랬습니다)

이를 최대한 방지하는 방법은 아래와 같습니다. 본질적으로 overfitting을 방지하는 법은 없지만, 몇 가지 트릭들이 존재합니다.

• Optuna search space 제한하기(보통 depth 등이 영향을 많이 미칩니다)
• Early stopping
• CV 안정성과  과적합 지표 추적(다양한 과적합 예상 지표들이 있습니다)
• RepeatedKFold
• Multiple Seed Ensemble

제 경험 상 이번 대회는 overfitting에서 다소 자유로운 편입니다.

대회 train 데이터가 적을수록, LB를 믿지 말고 CV를 신뢰하세요.

(마찬가지로 Kaggle에서 배운 내용입니다)

4.KFold의 위험성

KFold는 항상 정석이지만,

"데이터가 적을수록 fold split에 따른 randomness가 비약적으로 상승"합니다.

다시 말해 그냥 무턱대고 KFold로 학습하게 되면 그러한 랜덤성에 몸을 맡기게 되는 것이고,

그 fold split으로만 최적화를 하게 되면 당연히 과적합 위험성이 높아집니다.

이를 방지해 주는 방법들을 고민해 보세요.

5.전체 데이터로 학습

전체 데이터로 학습하면 때로는 score가 비약적으로 높아지기도 합니다.

매번 시도해 볼만한 테크닉 중 하나입니다.

(물론 CV score 추적이 안 되니 제출용으로만 사용합니다)