분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
웹 광고 클릭률 예측 AI 경진대회
trainset에 대한 RAM용량 초과이슈
안녕하세요!
데이터를 불러오는 과정에서 파이썬으로 pd.readcsv("train.csv")를 하였으나,
train.csv파일이 너무 커서 cpu RAM 용량을 초과하는 이슈가 발생했습니다. (제가 보유한 CPU RAM용량은 29GB 입니다.)
혹시 baseline을 돌리신 분들께서는 어떤 환경에서 작업하셨는 지 궁금합니다! ( colab pro : 32GB, pro+ : 52GB 인걸로 확인했습니다.)
이 상황에서 만약 저라면 RAM이 큰 개발환경을 구축하는 게 좋을 지,
아니면 데이터를 쪼개서 연합학습 혹은 미니배치처럼 쓰기 등의 방법을 쓰는 게 좋을 지.. 조언주시면 감사하겠습니다.
parquet 파일로 변환하면 1GB로 변환 가능합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
위 문제상황을 잘 해결해주신 EISLab_이희원님의 글 링크를 댓글에 써놓겠습니다!!
https://dacon.io/competitions/official/236258/talkboard/411715