메모리 사용량 최적화 코드로 다시금 작성하시거나, 더 큰 RAM PC환경에서 실행하셔야 할 것 같습니다.

train_input를 .npy로 저장해보니 18GB가 나오네요...

근본적으로 데이터 크기보다 RAM 용량이 부족해서 발생하고, 본 대회에서는 train_input 데이터 크기에 크게 의존합니다.
1. 따라서 여러 feature(ex.대분류, 중분류, 소분류, 일일 판매량 등) 중 성능 개선에 필요없는 특성들을 Drop하거나 
2. 혹은 train_size(학습 활용 기간)을 증가시키면 될 것입니다. 
3. 마지막으로는 데스크탑 환경이라면 RAM을 더 장착하시거나, 코랩 환경이라면 pro를 결제해서 용량을 증가시키면 됩니다. 

train_input을 한번에 만들지 말고 여러번 쪼개서 각각 따로 .npy로 저장하고 학습때 하나씩 불러오면 좀 오래걸리긴 해도 베이스라인 코드에서 만든 데이터를 다 쓸 수 있긴 합니다