서두르세요! "데이스쿨 40% 할인" 12월 2일까지!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 4th] HF - Wav2Vec 2.0
Huggingface의 Pretrained Wav2Vec2.0 모델을 학습하여 Soft-Vote 앙상블 하였습니다.
모델 학습 시 사용한 기법으로는
1. 10-Fold Cross Validation : 데이터는 10 Fold로 나누되, 시간 여건 상 5 Fold까지만 학습하여 사용했습니다.
2. 임베딩 모델과 분류 헤드에 다른 Learning Rate 적용 : 임베딩 모델은 Pretrained 되어 있기 때문에 임베딩 모델에는 LR * 0.2 값을 사용하고, 분류 헤드에는 원 LR을 그대로 적용하여 학습했습니다.
3. 오디오 데이터 증강 사용 : audiomentations를 사용하여 여러가지 오디오 데이터 증강 기법을 사용하였습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved