[기업은행 혁신리그 사전강의] 영화 리뷰 감성 분석

알고리즘 | NLP | 분류 | 자연어 | Accuracy

  • moneyIcon 상금 : 총 0만원
  • 52명 마감

 

[질문] torch GPU모드 사용시 멀티 GPU모드사용방법이 궁금합니다.

2022.10.11 09:18 613 조회

[질문] torch GPU모드 사용시 멀티 GPU모드사용방법이 궁금합니다.

Trainer(

  accelerator="gpu",

  devices="auto",

  precision=16,

  max_steps=100000,

  callbacks=[ModelCheckpoint(monitor="val/accuracy", mode="max", save_weights_only=True)],

).fit(MyLightningModule(), train_dataloader, val_dataloader)


를 사용할때 GPU(카드)자원이 1개 이상일 경우 torch에서

RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method


의 에러가 발생되는데 torch의 자체적인 문제로 보이는데요

이를 회피하거나

Trainer() 함수를 사용하지 않아야되는건가요?

아니면 tokenizer 생성 이전에 설정이 필요한건가요? 궁금합니다.


로그인이 필요합니다
0 / 1000
affjljoo3581
2022.10.11 12:33

멀티 GPU 사용을 위해서는 몇가지 코드 수정이 필요합니다. GPU 1개만 사용하기 위해서는 devices="auto"를 devices=1로 변경해 주세요.