공공데이터 활용 수력 댐 강우예측 AI 경진대회

dataset 용량

2020.10.22 09:45 6,195 조회

안녕하세요?

.npy 데이터셋을 normalize하려고 하니, 데이터셋 용량이 뻥튀기 되네요.

혹시 이 문제를 겪어보시거나 해결하신분 계신가요?

로그인이 필요합니다
0 / 1000
최정명
2020.10.22 11:21

제공된 데이터가 uint8 데이터 타입인데 normalize 하면 float32 float64 데이터 형태로 변환되어서 자료형 크기가 커집니다.

이 부분 때문에 차지하는 메모리가 늘어났을 것 같네요.

DinSon
2020.10.22 11:42

흠 이부분을 해결하셨나요..?

최정명
2020.10.22 14:22

음 ... 사용 하시려는 정규화에 필요한 값 (ex 평균, 표준편차 등) 을 미리 추출 한 다음, 배치 단위로 그 값을 통해 정규화 하면 되지 않을까요 ?
만약 데이터가 픽셀 값이니 255 로 나눈다면 배치 단위로 단순히 255. 로 나누어 정규화 해주거나요 !

그리고 만약 정규화 하는 과정에서 float64형이 된다면 float32와 아주 큰 차이는 없을 것 같습니다.