이미지 분류 해커톤: 데이터 속 아이콘의 종류를 맞혀라!

kaggle notebook - GPU P100을 사용하여 진행하였습니다.
해당 대회 데이터에 다양한 모델을 적용해 본 결과, resnext50d_32x4d이 단일 모델 성능으로는 가장 좋게 나왔습니다. 해당 모델로 하이퍼파라미터 튜닝을 진행하였고, 하이퍼파라미터에 민감한 것을 확인할 수 있었습니다.
하이퍼파라미터에 민감하다는 점을 이용해서 최대한 다양한 local minima를 탐색 후 앙상블을 하기로 결정했습니다.
스케쥴러는 CosineAnnealingWarmRestarts를 사용하였습니다. 총 5가지의 모델을 하드보팅 하였고, 앙상블한 각 모델의 스케쥴러 하이퍼파라미터는 아래와 같습니다.
t_0= 6, t_mult=2, lr=2e-4. eta_min=lr/10
t_0= 7, t_mult=4, lr=2e-4. eta_min=lr/10
t_0= 11, t_mult=2, lr=2e-4. eta_min=lr/10
t_0= 15, t_mult=4, lr=2e-4. eta_min=lr/10
t_0= 20, t_mult=2, lr=1e-3. eta_min=lr/10

바빠서 급하게 제출하느라 코드가 깔끔하지 못합니다. 죄송합니다.