건설기계 오일 상태 분류 AI 경진대회

안녕하세요.
저희 팀의 순위가 높게 나오진 않았지만, 상위권 팀들의 방법론도 크게 다르지 않을 것이라 생각됩니다.
"Knowledge Distillation" 이라는 주제는 처음이었지만, 저희 팀이 이해하고 접근한 방법을 소개드리겠습니다.

Teacher 모델은 Baseline 코드와 동일하게 가져갔습니다. 
Teacher 모델링의 단계에서는 Nearal Network로부터 Train의 sample을 1 (이상) 으로 예측하는 확률값을 얻어냈고, Student 모델링의 단계에서는 test phase에서만 사용 가능한 변수들만을 활용하여 그 확률 값을 예측하는 Regressor를 구축하였습니다. 다른 Boosting Bagging 모델보다 LightGBM 단일 모델의 성능이 좋게 나왔고, 저희 최종 Private score는 해당되는 결과입니다. 

저희 모두 학기 중에 가벼운 마음으로 참여했다보니 Feature Engineering도 하지 못하였고, 본 대회는 결측 처리가 중요해보였으나, 다양한 시도를 하지는 못하여서 아쉬움이 많이 남네요.
하지만, 건설기계와 관련된 도메인 지식을 공부할 수 있었고, Knowledge Distillation에 대해서 알 수 있는 좋은 기회였습니다.

감사합니다.