PyTorch 2.14의 FlightRecorderHook은 집단통신 행·불일치 진단을 위한 Flight Recorder를 ProcessGroup 훅으로 올려, NCCL에만 묶이던 추적을 백엔드 공용으로 만듭니다. Gloo처럼 NCCL이 아닌 백엔드에서도 DebugMode로 콜렉티브 트레이스를 남길 수 있습니다.

오늘은 작은 월드에서 백엔드를 Gloo로 두고, 훅이 ProcessGroup에 걸린 뒤 의도적으로 어긋난 콜렉티브를 한 번 만들어 보십시오.

• 백엔드 이름과 훅 등록 여부

• DebugMode 로그에 트레이스가 남는지

• “행이 풀렸다”보다 “어떤 백엔드에서 추적이 됐는지”

원문에서 재현 조건과 NCCL 비교 절차를 확인하실 수 있습니다.

https://daker.ai/community/flightrecorderhook-processgroup-non-nccl-collectiv