좋은 조언 감사합니다! 오늘 시간내서 꼭 한 번 해볼게요... 혼자 구글링 하면서 헤매고 있었는데 이렇게 글을 올리니 역시 도와주시는 분들이 계시네요... 감사합니다!@

삭제된 댓글입니다

어떤 분이 knowledge distillation 전략을 머신러닝으로 할 수 있는 방법을 이야기 해주셨던데 같은 이야기이신 것 같아요... 
1. train 데이터 전체 columns 으로 predict_proba로 확률값을 구하고
2. test 데이터로 그 확률값을 다시 예측하는 뭐 그런 방식인가요?

혹시 다시 보신다면 자세한 설명 한 번 부탁드려도 될까요???

저도 같은 방식으로 했습니다.
Teacher model은 [target = Y_LABEL]로 한 분류 모델로 만들어서 predict가 아닌 predict_proba를 구해줍니다.
Student model은 [target = predict_proba의 2번째 열 데이터]로 한 회귀 모델을 만들어서 예측했습니다.