분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Baseline] wav2vec2 모델 기반 Training Code
facebook에서 공개한 wav2vec2 모델을 활용하여 작성하였습니다.
- huggingface link : https://huggingface.co/facebook/wav2vec2-base
적은 리소스 환경에서도 큰 batch size 효과를 볼 수 있도록 gradient accumulation을 적용하였습니다.
'TOTAL_BATCH_SIZE'에 원하는 batch size를 선언하시고,
out of memory가 발생하지 않는 batch size를 'BATCH_SIZE'에 선언하시면 됩니다.
- gradient accumulation 설명 : https://towardsdatascience.com/what-is-gradient-accumulation-in-deep-learning-ec034122cfa
만약 추가로 궁금하신 점이 있다면, 댓글로 남겨주세요^^
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
역시 Feature extractor도 pretrain된 것이 성능이 더 좋겠네요!
항상 좋은 코드 공유 감사합니다!