Huggingface의 Pretrained Wav2Vec2.0 모델을 학습하여 Soft-Vote 앙상블 하였습니다.

모델 학습 시 사용한 기법으로는
1. 10-Fold Cross Validation : 데이터는 10 Fold로 나누되, 시간 여건 상 5 Fold까지만 학습하여 사용했습니다.
2. 임베딩 모델과 분류 헤드에 다른 Learning Rate 적용 : 임베딩 모델은 Pretrained 되어 있기 때문에 임베딩 모델에는 LR * 0.2 값을 사용하고, 분류 헤드에는 원 LR을 그대로 적용하여 학습했습니다. 
3. 오디오 데이터 증강 사용 : audiomentations를 사용하여 여러가지 오디오 데이터 증강 기법을 사용하였습니다.