분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Baseline] wav2vec2 모델 기반 Training Code
facebook에서 공개한 wav2vec2 모델을 활용하여 작성하였습니다.
- huggingface link : https://huggingface.co/facebook/wav2vec2-base
적은 리소스 환경에서도 큰 batch size 효과를 볼 수 있도록 gradient accumulation을 적용하였습니다.
'TOTAL_BATCH_SIZE'에 원하는 batch size를 선언하시고,
out of memory가 발생하지 않는 batch size를 'BATCH_SIZE'에 선언하시면 됩니다.
- gradient accumulation 설명 : https://towardsdatascience.com/what-is-gradient-accumulation-in-deep-learning-ec034122cfa
만약 추가로 궁금하신 점이 있다면, 댓글로 남겨주세요^^
😄
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
역시 Feature extractor도 pretrain된 것이 성능이 더 좋겠네요!
항상 좋은 코드 공유 감사합니다!