분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[질문] torch GPU모드 사용시 멀티 GPU모드사용방법이 궁금합니다.
[질문] torch GPU모드 사용시 멀티 GPU모드사용방법이 궁금합니다.
Trainer(
accelerator="gpu",
devices="auto",
precision=16,
max_steps=100000,
callbacks=[ModelCheckpoint(monitor="val/accuracy", mode="max", save_weights_only=True)],
).fit(MyLightningModule(), train_dataloader, val_dataloader)
를 사용할때 GPU(카드)자원이 1개 이상일 경우 torch에서
RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method
의 에러가 발생되는데 torch의 자체적인 문제로 보이는데요
이를 회피하거나
Trainer() 함수를 사용하지 않아야되는건가요?
아니면 tokenizer 생성 이전에 설정이 필요한건가요? 궁금합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
멀티 GPU 사용을 위해서는 몇가지 코드 수정이 필요합니다. GPU 1개만 사용하기 위해서는 devices="auto"를 devices=1로 변경해 주세요.