하다보면 최종 스코어에 가장 영향이 큰게 Y_01,Y_02,Y_03 세개고

나머지는 기본 파라메터로 피팅해도 결과가 다 비슷하더군요

파라미터 튜닝할 시간도 시간도 별로 없고 머신러닝 배우기 시작한지 얼마 안되서

catboost 랑 xgb 에 learning rate 와 iteration 만 조정하고 몇가지 아이디어만 적용해 봤습니다

training 데이터에서 랜덤 샘플링했을때 결과는 잘 나오는 것 같은데 리더보드에 올린 결과는 별로 좋진 않네요

Y_01,Y_02,Y_03,Y_07 을 보면 gain 인데 보통 dbm 단위로 표시되기 때문에

linear scale 로 만들어 주기 위해 exp 를 취해서 exp(y) 를 fitting 한 다음

log(pred(y)) 를 취해주면 training set 을 나눠서 검증했을땐  score가 확연히 올라가는걸 볼 수 있습니다

거기에 x24-x28 등의 correlation 이 높은 parameter 을 통합해 줄여

주면 score 가 좀 더 올라가긴 하더군요

그런데 리더보드 상에서는 score 가 오희려 더 떨어지는걸 보면

뭔가 잘못하고 있나봅니다.

번외로 Quantile regression 을 해보면 alpha 값에 따라 feature importance 값이

크게 차이나는게 있던데

불량 체크를 목적으로 할때는 이런 값이 더 중요한게 아닌가 하는 생각이 들더군요