도배 하자 유형 분류 AI 경진대회

안녕하세요, Private 9위로 이번 대회 마무리하게 되었습니다.
중간에 연구실 일정이 과하게 몰려서 그 이후로 해보려던 구성들은 못 시도해봐서 아쉽네요.
쥬피터가 아닌 파이썬 코드로 작성하여 작업했습니다.
---------
model: ConvNeXt (L) pretrained model  + Linear head
optimizer: AdamP - https://github.com/clovaai/AdamP
Loss: Focal loss
LR_scheduler: Cosine annealing with warmup - https://github.com/katsura-jp/pytorch-cosine-annealing-with-warmup 
Ensemble: average ensemble of 5 model 

Training image size: 512
Validation & Testing image size: 544

Batch size: 32 (=effective batch size, 16 * 2 GPU)
Epochs: 80
max learning rate: 4e-5
-----------
낮은 LR: 모델이 이미지의 장면과 구성이 아니고 하자에 집중을 해야하기 때문에 LR를 크게 내렸습니다.
작은 BZ: LR이 낮아짐에 따라 regularization효과를 보고자 배치를 줄였습니다.
Aug: Optical, Affine, Elastic의 경우 촬영하시는 핸드폰 카메라의 속성 + 주 촬영이 어르신들임을 고려해서 추가했습니다.
Img size: EfficientNet v2의 progressive learning, 그리고 fine-tuning을 수행할 때 더 큰 이미지 사이를 사용하는데에 착안해 학습 이미지 사이즈를 크게 키웠습니다. 

성능하락했던 시도 
- mixup, label_smoothing, cutmix, random earring, LT 논문 기반 방법, ASL loss



그 외
모니터링: 19개 클래스별로 metric을 나누어서도 관찰했습니다.