분산 잡에서 모든 랭크가 같은 모델을 따로 컴파일하면 시작 전 대기가 길어집니다.

PyTorch 2.14의 compile_on_one_rank로 한 랭크만 아티팩트를 만들고 나머지가 로드하는 조건을 DAKER 학습 글에 정리했습니다.

• 옵트인 플래그와 프로그램당 가속기 하나 가정

• 장치 중립 코드젠으로 다른 랭크 로드

• 독립 컴파일 vs 단일 아티팩트 로드 비교 체크리스트

자세히 보기: https://daker.ai/community/post-mu5x4k2o-1082521e