분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
wookiekim [Private 2nd, 0.88829] EfficientNet
대학원 생활을 하면서 남은 시간에 참여했는데 생각보다 좋은 결과를 얻게 되어 기쁩니다.
재미있는 대회 주최해주셔서 감사드립니다. 많은 것을 배울 수 있는 뜻깊은 대회였습니다.
앞으로도 잘 부탁드리겠습니다!
----------------------------------------------------------------------------------------------------------------
전처리 :
Rotation augmentation만 적용
Flip을 적용할 시 알파벳 생김새가 겹칠 수 있다는 생각을 했습니다. (u <->n 등)
학습:
EfficientNet 계열의 backbone을 사용하여 학습했습니다.
Ensemble을 할 모델들에게 최대한의 많은 다양성을 주기 위해 여러 세팅을 번갈아가며 돌렸습니다.
Backbone: B3 ~ B7
Learning rate scheduler: None or CosineAnnealingWithWarmRestarts
Optimizer: AdamW or SAM
MixUp: None or Used
Initial Lr : 1e-3, 1e-4...
Early stopping을 사용하였습니다.
Loss/accuracy중 하나만 향상되더라도 early stopping의 count를 리셋하였습니다.
EfficientNet 의 어떤 모델을 사용하느냐에 따라 GPU메모리에 다 들어가지 않는 경우도 많아서 batch size를 조정하면서 진행했습니다.
Single-GPU, TITAN XP를 사용하였습니다.
단순하게 train set과 valid set을 고정해두고 진행했습니다.
후처리:
Ensemble을 통하여 결과를 낸 것 외에 별다른 후처리는 없었습니다.
최종 사용한 모델들의 backbone network를 제외하고는 정확한 트레이닝 scheme은 기억나지 않지만,
pretrained weight들이 있어 재현은 가능합니다.
감사합니다 :)
CosineAnnealingWarmupRestarts의 import 또는 정의 부분이 없는 것 같습니다...
수정하여 올렸습니다. 감사합니다~
마지막 대학원 생활 후회 없이 보내기를 바랍니다. ^^*
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
여러가지 시도를 앙상블한게 robust 한 모델을 만든 것 같네요 :) 고생하셨습니다.