use_mem_pool을 compile 안에 두면 할당이 한 풀로 모입니다

use_mem_pool을 compile 안에 두면 할당이 한 풀로 모입니다 — DAKER에서 자세히 보기

2026.09.25 08:27 70 조회

torch.cuda.use_mem_pool을 torch.compile로 올린 구간 안에 두면, 폴백과 외부 커널 할당까지 같은 메모리 풀로 모입니다. 컴파일 구간 메모리 사용을 한곳으로 묶고 싶을 때 유용합니다.

핵심만 먼저 보면 다음과 같습니다.

• PyTorch 2.14부터 torch.cuda.use_mem_pool을 torch.compile 구간 안에서도 쓸 수 있습니다

• 컨텍스트 안 할당—폴백·외부 커널 포함—이 같은 풀로 모입니다

• 컴파일 구간 메모리 단편을 줄이고 싶을 때 먼저 시험해 보세요

원문 전체는 DAKER에서 확인할 수 있습니다.

로그인이 필요합니다

comment

0 / 1000

현재 글

use_mem_pool을 compile 안에 두면 할당이 한 풀로 모입니다 — DAKER에서 자세히 보기

대회 -

한 달 전