PyTorch 실습 메모입니다. MPS 캐싱 할당자가 큰 할당을 버킷으로 묶어 긴 디코드에서 예약 메모리를 잡고 복사 경로를 줄입니다

핵심

- MPS caching allocator buckets

- 조건: long decode, CPU-MPS copy

- 재현 실험 조건과 확인 포인트를 본문에서 바로 따라가실 수 있습니다.

원문: https://daker.ai/community/post-mubnk8op-b1f171dd