분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Tip] 대용량 데이터, 효율적으로 처리하자!
- 데이터 분석을 하면서 종종 한정된 컴퓨팅 자원에서 대용량의 데이터를 다루는 상황에 처하게 됩니다. 해당 게시글은 이러한 상황에서 데이터를 좀 더 효율적으로 처리하는 방법에 대해 작성하였습니다.
- 본 포스팅을 작성하면서 참고한 참고자료는 다음과 같습니다.
- https://towardsdatascience.com/️-load-the-same-csv-file-10x-times-faster-and-with-10x-less-memory-️-e93b485086c7
- 예제에서 사용된 데이터는 데이콘 '행동 데이터 분석 인공지능 AI 경진대회' 데이터입니다.
- 아직 배우는 입장으로 부족한 점이 많습니다. 수정해야 하거나 추가해야 할 점이 있다면 댓글로 조언 부탁 드립니다!
** 본 게시글은 데이콘 서포터즈 ‘데이크루’ 1기 활동의 일환입니다.
최근에 메모리 부족 문제때문에 고민이 많았는데 chunksize에 대해 조금더 찾아봐야할 것 같습니다! 유용한 팁 감사합니다!!
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
데이터 분석을 할 때 정말 유용한 팁이네요!
다음에 대용량 데이터를 다루게 된다면 이 글을 참고하면 좋을거 같아요. ㅎㅎ 좋은 게시물 감사해요 :)