분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
공공데이터 활용 수력 댐 강우예측 AI 경진대회
dataset 용량
안녕하세요?
.npy 데이터셋을 normalize하려고 하니, 데이터셋 용량이 뻥튀기 되네요.
혹시 이 문제를 겪어보시거나 해결하신분 계신가요?
흠 이부분을 해결하셨나요..?
음 ... 사용 하시려는 정규화에 필요한 값 (ex 평균, 표준편차 등) 을 미리 추출 한 다음, 배치 단위로 그 값을 통해 정규화 하면 되지 않을까요 ?
만약 데이터가 픽셀 값이니 255 로 나눈다면 배치 단위로 단순히 255. 로 나누어 정규화 해주거나요 !
그리고 만약 정규화 하는 과정에서 float64형이 된다면 float32와 아주 큰 차이는 없을 것 같습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
제공된 데이터가 uint8 데이터 타입인데 normalize 하면 float32 float64 데이터 형태로 변환되어서 자료형 크기가 커집니다.
이 부분 때문에 차지하는 메모리가 늘어났을 것 같네요.