PyTorch 2.14의 torch.compiler.config.compile_on_one_rank는 분산 작업에서 모든 랭크가 같은 모델을 따로 컴파일하던 비용을, 한 랭크가 만든 아티팩트를 다른 랭크가 로드하는 경로로 바꿉니다. 옵트인이며, 프로그램당 가속기 한 대를 가정합니다.

오늘은 작은 멀티 랭크 잡에서 플래그를 켠 뒤, 한 랭크만 아티팩트를 쓰고 나머지가 같은 소스를 로드하는지부터 확인하십시오.

• 플래그 이름과 디바이스 개수

• 누가 아티팩트를 만들고 누가 로드하는지

• 그래프가 두 번째 가속기를 건드리면 거절되는지

원문에서 실험 조건과 디바이스 가정의 한계를 이어서 보실 수 있습니다.

https://daker.ai/community/torch-compiler-one-rank-compile-artifacts