저는 훈련데이터 전부 사용하고 있고 학습데이터를 train/valid로 나누어서 hyperparameter를 튜닝합니다. 튜닝이 끝나면 학습데이터 전부로 학습해서 제출합니다. LSTM을 써도 그렇게 오래 걸리지는 않을 것 같은데 아마 dense layer에서 bottleneck이 생기는 것이 아닌지 추측해봅니다.

파라미터 갯수 100만개면 굉장히 작은 모델 아닌가요? // 아니면 data loader에서 전처리하실 때 파일 IO 과정에서 bottleneck이 있을 수 있습니다. //준호님 말처럼 dense layer에서 생길수도 있습니다. num workers를 조정해서 IO에 할당되는 process를 여러개 두셔도 될듯합니다. // 아니면 전처리 한 데이터를 저장해 주셔도 되고요..