이미지 데이터 전처리를 하는 과정에서 RAM 사용량이 용량을 뛰어넘어 런타임이 다운되는 상황을 겪고 있습니다.

(train_set = 약 8,000개의 이미지 데이터, test_set = 약 2,000개의 이미지 데이터)

np.load를 통해 다른 노트북에서 np.save를 해두었던 넘파이로 된 데이터를 가져오는 과정에서 RAM 사용량이 늘어나는 것을 보았고,

center_cropping을 하는 과정에서 cv2.resize를 사용하는데 RAM 사용량이 늘어나 런타임이 다운되고 있습니다.

RAM 모니터링을 한 결과 cv2.resize에서 런타임이 주로 다운되는 것 같습니다.

del 명령을 통해 사용했던 객체들을 삭제해서 RAM을 줄이라는 조언도 봤지만 코드에서 사용할 수 있는 부분이 보이지 않아 어려움을 겪고 있습니다.

결론적으로 제가 하고 싶은 방향은

1. np.load를 통해 넘파이로 된 데이터를 가져오기
2. center cropping을 통한 데이터 전처리

train_set = np.load('/content/drive/MyDrive/cat_n_dog/data_numpy/train_set.npy', allow_pickle=True)
test_set = np.load('/content/drive/MyDrive/cat_n_dog/data_numpy/test_set.npy', allow_pickle=True)


train_target = np.load('/content/drive/MyDrive/cat_n_dog/data_numpy/train_target.npy', allow_pickle=True)
test_target = np.load('/content/drive/MyDrive/cat_n_dog/data_numpy/test_target.npy', allow_pickle=True)

# image_preprocessing: center cropping
def crop_center(img):
    y, x, z = img.shape
    crop_size = min(y, x)


    start_x = x // 2 - (crop_size // 2)
    start_y = y // 2 - (crop_size // 2)
    img = img[start_y:start_y + crop_size, start_x:start_x + crop_size]
    return cv2.resize(img, (256, 256))

# 이 셀에서 런타임이 다운 됨.
train_scaled = []


for i, img in enumerate(train_set):
    img_crop = crop_center(img)
    img_scaled = minmax_scaler(img_crop)
    train_scaled.append(img_scaled)


train_scaled = np.array(train_scaled)

이 2가지를 하고 싶은데 효율적인 방법이 없고, 다른 좋은 방법이 있다면 그 부분도 조언을 받고 싶습니다.

어떤 방식으로 RAM을 줄일 수 있는지 혹은 다른 방법이 있는지 조언 부탁 드립니다.