PyTorch 2.14의 AOTInductorSetUsePinnedAsyncConstantsCopy(환경 변수 AOTI_COPY_USE_PINNED_ASYNC)는 AOTInductor 공유 객체 가중치를 올릴 때 생기던 전역 동기화를 핀드 스테이징 비동기 경로로 바꿉니다. 라이브 멀티 스트림 추론 중에 호스트 복사와 디바이스 전송을 겹칠 수 있습니다.

오늘은 컨테이너가 이미 떠 있는 상태에서 .so 가중치를 다시 올릴 때, 동기 복사가 다른 스트림을 멈추는지부터 확인해 보십시오.

• 모델·컨테이너 생성 전에 핀드 비동기 경로를 켜는지

• AOTI_LOG_LOADING 마커로 복사 타이밍을 남기는지

• “로드가 빨라졌다”보다 “생성 전에 켰는지”를 재현 노트에 남기는지

원문에서 API 호출 시점과 실험 조건을 이어서 확인하실 수 있습니다.

https://daker.ai/community/aot-inductor-pinned-async-copy-h2d-stream-overlap