월간 데이콘 제 2회 컴퓨터 비전 학습 경진대회

알고리즘 | CV | 분류 | 제어 | Accuracy

  • moneyIcon Prize : 100만원
  • 1,195명 마감

 

파이토치 gpu 할당 질문 [CUDA out of memory]

2021.02.26 17:55 11,693 Views


안녕하세요! 파이토치 초보입니다


베이스라인 코드를 코랩이 아닌 학교 gpu에서  돌려보고 있는데요.


다음과 같은 에러가 뜨네요



1) 배치 사이즈도 줄여봤는데 해결이 되지 않았고




2)

import torch, gc

gc.collect()

torch.cuda.empty_cache()

를 하면 아래와 같이 나오는데 무엇이 문제일까요?ㅜ

CUDNN_STATUS_NOT_INITIALIZED









로그인이 필요합니다
0 / 1000
핑크퐁
2021.02.26 18:37

학교 GPU시면 해당 GPU를 다른분께서 쓰고 있는거 아닐까요 ?
GPU : 0 쓰고 계시는 것 같은데 nvidia-smi 나 gpustat -i 로 해당 GPU에 이미 할당된 메모리가 있는지 확인해보면 좋을 것 같아요.

팝팝
2021.02.26 18:35

해결했습니다!

이런식으로 os로 설정해놔서 
os.environ["CUDA_VISIBLE_DEVICES"]="2"

저는 2번 gpu를 쓰고 있다고 생각했는데

device 설정을 무의식적으로 0번으로 해놔서 안되는 거였네요
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 디바이스 설정


감사합니다!!

Mather
2021.02.27 21:07

해결 축하합니다.