월간 데이콘 제 2회 컴퓨터 비전 학습 경진대회

wookiekim [Private 2nd, 0.88829] EfficientNet

2021.03.08 16:08 8,523 조회 language

대학원 생활을 하면서 남은 시간에 참여했는데 생각보다 좋은 결과를 얻게 되어 기쁩니다.
재미있는 대회 주최해주셔서 감사드립니다. 많은 것을 배울 수 있는 뜻깊은 대회였습니다.
앞으로도 잘 부탁드리겠습니다!
----------------------------------------------------------------------------------------------------------------
전처리 : 
Rotation augmentation만 적용 
Flip을 적용할 시 알파벳 생김새가 겹칠 수 있다는 생각을 했습니다. (u <->n 등)

학습: 
EfficientNet 계열의 backbone을 사용하여 학습했습니다.
Ensemble을 할 모델들에게 최대한의 많은 다양성을 주기 위해 여러 세팅을 번갈아가며 돌렸습니다.

Backbone: B3 ~ B7
Learning rate scheduler: None or CosineAnnealingWithWarmRestarts 
Optimizer: AdamW or SAM
MixUp: None or Used
Initial Lr : 1e-3, 1e-4...

Early stopping을 사용하였습니다.
Loss/accuracy중 하나만 향상되더라도 early stopping의 count를 리셋하였습니다.

EfficientNet 의 어떤 모델을 사용하느냐에 따라 GPU메모리에 다 들어가지 않는 경우도 많아서 batch size를 조정하면서 진행했습니다.
Single-GPU, TITAN XP를 사용하였습니다.

단순하게 train set과 valid set을 고정해두고 진행했습니다.

후처리:
Ensemble을 통하여 결과를 낸 것 외에 별다른 후처리는 없었습니다.

최종 사용한 모델들의 backbone network를 제외하고는 정확한 트레이닝 scheme은 기억나지 않지만, 
pretrained weight들이 있어 재현은 가능합니다.

코드
로그인이 필요합니다
0 / 1000
DACON.JIN
2021.03.08 16:23

여러가지 시도를 앙상블한게 robust 한 모델을 만든 것 같네요 :) 고생하셨습니다.

wookiekim
2021.03.08 16:32

감사합니다 :)

취미유저
2021.03.08 16:32

CosineAnnealingWarmupRestarts의 import 또는 정의 부분이 없는 것 같습니다...

wookiekim
2021.03.08 16:34

수정하여 올렸습니다. 감사합니다~

이대권
2021.04.08 20:28

마지막 대학원 생활 후회 없이 보내기를 바랍니다. ^^*