PyTorch 2.14 SDPA는 rank-3 입력도 fused CUDA 경로로 보냅니다. 배치 없는 텐서가 math 폴백으로 조용히 떨어지던 함정을 프로파일로 확인하십시오.

• rank-3과 rank-4를 같은 내용으로 비교합니다

• math 커널이 남는지 먼저 봅니다

• 제출 노트에 입력 rank와 버전을 남깁니다

자세히 보기: https://daker.ai/community/post-mu1v6lks-4507e1d5