[Tip] 대용량 데이터, 효율적으로 처리하자!

2022.01.15 23:20 2,902 조회 language

- 데이터 분석을 하면서 종종 한정된 컴퓨팅 자원에서 대용량의 데이터를 다루는 상황에 처하게 됩니다. 해당 게시글은 이러한 상황에서 데이터를 좀 더 효율적으로 처리하는 방법에 대해 작성하였습니다.
- 본 포스팅을 작성하면서 참고한 참고자료는 다음과 같습니다.
    - https://towardsdatascience.com/️-load-the-same-csv-file-10x-times-faster-and-with-10x-less-memory-️-e93b485086c7
    
- 예제에서 사용된 데이터는 데이콘 '행동 데이터 분석 인공지능 AI 경진대회' 데이터입니다.
- 아직 배우는 입장으로 부족한 점이 많습니다. 수정해야 하거나 추가해야 할 점이 있다면 댓글로 조언 부탁 드립니다!

** 본 게시글은 데이콘 서포터즈 ‘데이크루’ 1기 활동의 일환입니다.

코드
로그인이 필요합니다
0 / 1000
므인
2022.01.16 00:48

데이터 분석을 할 때 정말 유용한 팁이네요! 
다음에 대용량 데이터를 다루게 된다면 이 글을 참고하면 좋을거 같아요. ㅎㅎ 좋은 게시물 감사해요 :)

yun99
2022.01.16 11:29

최근에 메모리 부족 문제때문에 고민이 많았는데 chunksize에 대해 조금더 찾아봐야할 것 같습니다! 유용한 팁 감사합니다!!