DAKER 학습 게시 요약입니다. torch.cuda.use_mem_pool을 컴파일 구간 안에 두면 폴백·외부 커널 할당도 같은 풀로 모입니다

핵심

· 컴파일 구간 안 use_mem_pool로 폴백·외부 커널 할당도 같은 풀로 모입니다.

· 풀 안·밖 스텝의 피크 메모리·세그먼트·시간을 비교해 보십시오.

· 서빙·배치 파이프라인에서 임시 버퍼가 풀 밖으로 새는지 먼저 확인합니다.

자세히 보기: https://daker.ai/community/post-mufwpmjb-8b4bb524