데이터가 크다보니 계속 오류가 나는데 다들 어떻게 해결하시나요?

월간 데이콘 반도체 박막 두께 분석 경진대회

이정재

2020.01.12 20:30 5,111 Views

데이터가 커서인지, 제가 못해서인지 계속 cannot allocate vector of size 와 같은 오류가 발생하는데 어떻게 해결하시나요?

R로 진행하고 있습니다.

Comments 4개

로그인이 필요합니다

comment

0 / 1000

둘리3

2020.01.13 09:30

R 사용자시고, 파일을 읽을 때 문제가 된다면, fread 함수를 찾아보시면 될 것 같습니다.

이정재

2020.01.14 00:49

데이터 읽는 것은 fread를 이용하여 하였는데요. 그 이후 모델을 생성한다든가 그 부분에서 또 막히어 질문드렸습니다 ㅠㅠ 이 부분은 제 RAM을 늘리는 것 아닌 이상 해결할 수 없는건가요?

wind runner

2020.01.13 20:59

Python을 사용하신 다면... 다음과 같이 pd.read_csv()에서 chunksize라는 것을 사용해서, 파일의 일부분씩 순차적으로 읽어와서 작업을 할 수 있습나다.

for df_train in pd.read_csv('train.csv', chunksize=100000):
# 읽어들인 record에 대한 작업 수행.

참고로 나는 RAM이 16G인 노트북에서 작업을 하고 있는데, Memory 오류가 발생하지 않습니다.

이정재

2020.01.14 00:50

감사합니다! 음 제 RAM이 작다보니 생긴 문제같습니다...ㅠ

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

회귀? 분류?

Competition - 월간 데이콘 반도체 박막 두께 분석 경진대회

현재 글