torch.switch로 MoE·인덱스 분기, 중첩 cond 없이 추적합니다

torch.switch로 MoE·인덱스 분기, 중첩 cond 없이 추적합니다 — DAKER에서 자세히 보기

2026.09.24 11:36 92 Views

PyTorch 2.14의 torch.switch는 인덱스로 고르는 다중 분기를 한 번의 higher-order op로 올립니다. 예전처럼 torch.cond를 겹쳐 n-way를 만들면 그래프가 커지고 의도가 흐려졌습니다.

MoE처럼 전문가 인덱스로 갈라지는 경로를 짧게 추적할 때 맞습니다.

핵심만 먼저 보면 다음과 같습니다.

• switch가 다중 분기를 한 번에 올리는 방식

• 중첩 cond 대비 그래프·의도 추적의 차이

• MoE·인덱스 디스패치에서 노드 수·재컴파일·스텝 시간 비교 포인트

원문 전체는 DAKER에서 확인할 수 있습니다.

comment

0 / 1000

Current

torch.switch로 MoE·인덱스 분기, 중첩 cond 없이 추적합니다 — DAKER에서 자세히 보기

Competition -

Likes 0

Comments 0

한 달 전