이 글에서 댓글로 질문하시면 적절한 선에서 답을 드릴 수 있습니다:)

음...아직 경험이 부족해 단일 모델을 사용만으로는 더 이상 성능 향상에 어려움이 있습니다. 위에서 말씀해주신 분류 모델링 + 회귀 모델링이 어떤 의미인지 간략하게 알 수 있을까요??

편의상 train 데이터에 포함된 x를 '전체x', test 데이터에 포함된 x를 '부분x', 전체x는 있지만 부분x에 없는 애들을 '나머지x'라고 하겠습니다. 
나머지x는 train에는 있지만 test에는 없는 애들인거죠.

단일 모델을 사용하셨다는 것은 train 데이터에서 부분x와 y를 활용해 classification 모델을 적합했다는 의미일텐데요, 
나머지x가 꽤 중요한 역할을 하고 있기 때문에 당연한 결과일 수 있습니다. 

그래서 'Knowledge Distillation'이라는 전략이 나왔다고 볼 수 있습니다.  여러가지 방향이 있지만 제가 말씀드린 방법은 아래와 같습니다.

1. train 데이터에서 전체x로 y를 설명하는 classification 모형 적합
2. 1.의 모형에 전체x를 넣어서 예측값(1일 확률) 계산
3. train 데이터에서 부분x로 2.의 예측값을 설명하는 regression 모형 적합
4. test 데이터의 부분x를 3.의 모형에 넣어 최종 예측값 계산 

음... 그렇다면 2번 과정에서 예측값 즉, 1일 확률을 계산한다는 의미는 따로 후작업 필요하다는 뜻인가요??? 아니면 0 또는 1을 맞추는 0.5의 확률을 의미하는건가요???

2.에서 나오는 1일 확률은 각 관측치별로 다르고 0부터 1 사이에서 다양한 값을 갖습니다.

그럼 3.부터는 "왜 Y가 1일까?"가 아니라 "왜 확률이 0.x로 다를까?"를 설명하는 것으로 방향이 달라지구요.

오.. 이제야 좀 이해가 된 것 같아요!! 음... 그렇다면 앙상블이나 다수의 분류 모델을 통해 나온 결과값 기반으로 확률에 대한 회귀 모형을 만든다는 것으로 이해하면 될까요??
 

Knowledge Distillation 라고 해서 딥러닝으로만 해결하는 줄 알았는데 이렇게 해결하는 방법도 있네요...
시도해봐야겠어요 ^^

감사합니다!!! Statistics님

안녕하세요.
활용하는 알고리즘과 전략에 따라 전처리 방향이 달라질텐데요,
일반적으로 tree 기반의 알고리즘들은 categorical 변수들만 지정해도 문제 없이 잘 돌아갑니다.
아직까지는 따로 전처리를 한 것은 없습니다. 어차피 수상은 제외라 간절하지 않기도 하고요ㅎㅎ

감사합니다!!! :)