DAKER 학습 카테고리에 PyTorch 2.14 MPS 캐싱 할당자 변경 요약이 올라왔습니다. 큰 할당을 버킷으로 묶어 긴 디코드에서 예약 메모리가 한쪽만 커지던 경로를 다듬고, CPU와 MPS 복사도 짧게 만드는 쪽입니다.

• 큰 할당을 버킷·배치 힙으로 묶어 단편화와 예약 증가를 줄이는 방식

• 긴 디코드처럼 할당·해제가 반복되는 구간에서 확인할 포인트

• Apple Silicon에서 같은 프롬프트 길이·배치로 전후를 비교하는 방법

원문: https://daker.ai/community/mps-cache-allocator-optimize-memory-copy-paths