*위 코드는 public score 0.64622(33등), private score 0.67768(35등)을 달성한 코드입니다.  높은 등수는 아니라 공유하기 민망하지만, 참고가 될만한 부분이 있을까하여 올립니다! (사실 dobby님이 제시해주신 transformer 모델을 사용해보고 싶었는데, transformer에 대한 지식이 부족하여 CNN 모델을 구성했습니다 ㅠㅠ)
*위 코드는 google colab에서 작성하여 파일을 불러오는 방식이 일반 jupyter와는 다릅니다.

모델은 크게 두 부분으로 구성됩니다. feature extraction을 위해 CNN 모델을 적용했으며, 이렇게 추출된 feature를 가지고 Catboost로 최종 분류를 진행했습니다.  
1. 1d-CNN에 ResNet의 Residual Block을 적용하여 모델 훈련을 진행했으며, 최종 output인 61개의 probability 대신 직전 layer의 GlobalAveragePooling의 output으로 한 id 당 128개의 feature를 추출했습니다.

2. CNN 모델의 여러 hyperparameter를 tuning하기 위해 kerastuner 라이브러리의 BayesianOptimization 함수를 사용했습니다. 

3. 이렇게 추출된 모델의 최종 classifier는 Catboost로 선정했습니다.(lightGBM 등의 모델을 실험하고자 했으나 colab에서 GPU를 사용하기 위해선 여러 설정이 필요한데, 결국 실패하여 Catboost를 사용했습니다. ) Catboost의 경우, tuning의 효과가 그리 크지 않다는 점에서 BayesianOptimization 대신 sklearn의 GridsearchCV를 사용하여 tuning했습니다.

처음 참가하는 대회인데, 세상은 넓고 고수분들은 참 많네요. 훌륭한 성적은 아니지만, 좋은 스타트라고 생각하고 열심히 공부하겠습니다. 감사합니다!