PyTorch 2.14 Backend·ProcessGroup에 단방향(RMA) 윈도우 인터페이스가 들어갑니다. 피어가 맞춰 호출하지 않아도 한 랭크가 상대 메모리를 읽거나 쓸 수 있어, 임베딩 조회·가중치 전달·전문가 라우팅처럼 불규칙한 접근에 맞습니다.

• Get/Put으로 피어 메모리에 직접 접근하는 단방향 RMA 윈도우를 노출합니다.

• 재작성 NCCL 경로의 Get/Put을 이 면으로 연결합니다.

• 동기식 집단통신만으로는 어색했던 불규칙 접근 패턴을 줄이는 쪽이 핵심입니다.

원문 요약은 DAKER에서 확인할 수 있습니다.

https://daker.ai/community/c10d-rma-irregular-access-embedding-routing