월간 데이콘 음성 중첩 데이터 분류 AI 경진대회

알고리즘 | Audio | 분류 | 제어 | KL Divergence

  • moneyIcon 상금 : 100만원
  • 584명 마감

 

다들 훈련데이터 전부 다쓰시나요????

2020.07.03 15:21 4,850 조회

mfcc로 변환한 후, lstm을 사용해서 학습을 하는중인데... 1epoch당 2시간은 걸리네요 ㅠㅠ


batch_size를 늘리자니 gpu 메모리가 터져버리고....


다들 어떻게 하고계신가요??


로그인이 필요합니다
0 / 1000
Junho Sun
2020.07.03 16:27

저는 훈련데이터 전부 사용하고 있고 학습데이터를 train/valid로 나누어서 hyperparameter를 튜닝합니다. 튜닝이 끝나면 학습데이터 전부로 학습해서 제출합니다. LSTM을 써도 그렇게 오래 걸리지는 않을 것 같은데 아마 dense layer에서 bottleneck이 생기는 것이 아닌지 추측해봅니다.

윤남식
2020.07.03 16:41

혹시 돌리시는 모델 파라미터 갯수가 어떻게 되시나요??? 제가 너무 큰 모델을 쓰고있나 싶습니다...제꺼는 100만개 정도 되는데 너무 큰 모델이 아닌가 싶네요

Junho Sun
2020.07.03 22:26

저는 LSTM을 사용하지는 않고 있으며 1.5M 정도의 param을 가지고 있습니다. RTX 2070에서 1 epoch 학습하는데 2분 정도 걸립니다.

윤남식
2020.07.03 23:15

감사합니다!

딥러닝잘하고싶다
2020.07.03 17:19

파라미터 갯수 100만개면 굉장히 작은 모델 아닌가요? // 아니면 data loader에서 전처리하실 때 파일 IO 과정에서 bottleneck이 있을 수 있습니다. //준호님 말처럼 dense layer에서 생길수도 있습니다. num workers를 조정해서 IO에 할당되는 process를 여러개 두셔도 될듯합니다. // 아니면 전처리 한 데이터를 저장해 주셔도 되고요..  

윤남식
2020.07.03 23:15

오오...cpu에서 gpu로 넘길때의 IO bottleneck 말씀하시는건가요??미처 고려를 못해봤네요 감사합니다 ㅎㅎ