파이토치 gpu 할당 질문 [CUDA out of memory]

월간 데이콘 제 2회 컴퓨터 비전 학습 경진대회

팝팝

2021.02.26 17:55 12,933 Views

안녕하세요! 파이토치 초보입니다

베이스라인 코드를 코랩이 아닌 학교 gpu에서 돌려보고 있는데요.

다음과 같은 에러가 뜨네요

1) 배치 사이즈도 줄여봤는데 해결이 되지 않았고

import torch, gc

gc.collect()

torch.cuda.empty_cache()

를 하면 아래와 같이 나오는데 무엇이 문제일까요?ㅜ

CUDNN_STATUS_NOT_INITIALIZED

Comments 3개

로그인이 필요합니다

comment

0 / 1000

핑크퐁

2021.02.26 18:37

학교 GPU시면 해당 GPU를 다른분께서 쓰고 있는거 아닐까요 ?
GPU : 0 쓰고 계시는 것 같은데 nvidia-smi 나 gpustat -i 로 해당 GPU에 이미 할당된 메모리가 있는지 확인해보면 좋을 것 같아요.

팝팝

2021.02.26 18:35

해결했습니다!

이런식으로 os로 설정해놔서
os.environ["CUDA_VISIBLE_DEVICES"]="2"

저는 2번 gpu를 쓰고 있다고 생각했는데

device 설정을 무의식적으로 0번으로 해놔서 안되는 거였네요
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 디바이스 설정

감사합니다!!