온라인 채널 제품 판매량 예측 AI 온라인 해커톤

채용 | 알고리즘 | 정형 | 시계열 | LG Aimers | 수요 예측 | SFA

 

Baseline 전처리 결과 파일 링크 공유

2023.08.04 15:47 4,427 조회 language

매번 코드를 다시 실행할 때, 전처리 부분에서 train_input을 만들 때, 시간이 너무 오래 걸리는게 귀찮아서 만들었습니다.

train_input.npy의 파일 크기가 18GB가 넘어가기 때문에, 학습을 하기 위해서는 최소 32GB 이상의 RAM 환경이 필요한 것 같습니다.

npy 파일 링크
https://drive.google.com/file/d/1ymC3hGtddgBGldy8mRvqD5Tt5zRr9-IR/view?usp=sharing

코드
로그인이 필요합니다
0 / 1000
이세의인공지능
2023.08.04 20:29

좋은 글 감사합니다!
np.savez_compressed()로 압축하면 저장 용량은 줄어드는 것 같습니다!
불러올 때는 여전히 train_input이 약 19기가 차지하기 때문에 RAM 사이즈가 넉넉히 필요할 것 같습니다.

EISLab_이희원
2023.08.04 20:31

오 몰랐던 방법이네요!!
감사합니다

All_day
2023.08.05 15:58

좋은 공유 감사합니다! 
그런데, 아래처럼 
ValueError: cannot reshape array of size 4063216 into shape (5625060,90,5)

해당 코드로 불러올려고 했는데 이런 오류가 뜹니다!! 
무슨 문제가 있을까요??

EISLab_이희원
2023.08.05 21:15

원인을 계속 찾아봤는데, 이유를 잘 모르겠네요....ㅠㅠㅠ

All_day
2023.08.06 02:29

아쉽네요! 감사합니다! ㅠㅠㅠ