PyTorch 2.14에서 Backend·ProcessGroup이 제자리 재구성 인터페이스를 노출합니다. 랭크가 죽어도 프로세스 그룹을 통째로 부수고 다시 만들지 않고, abort 훅과 집단통신 전후 훅을 같은 경로로 묶어 그룹을 다시 세울 수 있습니다.

• 제자리 재구성으로 클러스터 웜 상태를 유지한 채 복구하는 흐름을 정리합니다.

• abort 훅과 집단통신 전후 훅을 한 경로로 묶습니다.

• Gloo에도 장애 허용 지원이 붙어 소규모·CPU 경로까지 같은 이야기를 이어갑니다.

원문 요약은 DAKER에서 확인할 수 있습니다.

https://daker.ai/community/processgroup-inplace-reconf-rank-fault-warm-recove