Inductor NVGEMM, CUTLASS·NVFP4로 mm·addmm 후보를 고릅니다 — DAKER에서

2026.09.24 11:29 92 Views

PyTorch Inductor의 NVGEMM이 CuTeDSL·CUTLASS 경로로 mm·addmm·scaled_mm 후보를 들고, bias·활성화 같은 에필로그를 커널 안에 붙이는 흐름을 정리했습니다.

NVFP4 전역 스케일도 에필로그에서 처리되며, max_autotune 아래에서 Triton·ATen과 함께 겨룹니다.


핵심만 먼저 보면 다음과 같습니다.

• NVGEMM이 mm·addmm·scaled_mm 후보를 고르는 방식

• CUTLASS 에필로그 융합과 NVFP4 스케일 처리

• max_autotune에서 Triton·ATen과 비교해 볼 벤치 포인트


원문 전체 DAKER에서 확인할 수 있습니.

https://daker.ai/community/inductor-nvgemm-cutlass-nvfp4-mm-addmm-scaled-mm