분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Inductor NVGEMM, CUTLASS·NVFP4로 mm·addmm 후보를 고릅니다 — DAKER에서
PyTorch Inductor의 NVGEMM이 CuTeDSL·CUTLASS 경로로 mm·addmm·scaled_mm 후보를 들고, bias·활성화 같은 에필로그를 커널 안에 붙이는 흐름을 정리했습니다.
NVFP4 전역 스케일도 에필로그에서 처리되며, max_autotune 아래에서 Triton·ATen과 함께 겨룹니다.
핵심만 먼저 보면 다음과 같습니다.
• NVGEMM이 mm·addmm·scaled_mm 후보를 고르는 방식
• CUTLASS 에필로그 융합과 NVFP4 스케일 처리
• max_autotune에서 Triton·ATen과 비교해 볼 벤치 포인트
원문 전체 DAKER에서 확인할 수 있습니.
https://daker.ai/community/inductor-nvgemm-cutlass-nvfp4-mm-addmm-scaled-mm
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Co.,Ltd All rights reserved