PyTorch 2.14의 SDPA는 rank-3 입력도 fused CUDA 백엔드로 보냅니다. 배치 축을 빼거나 이미 펼쳐 둔 텐서가 math 폴백으로 조용히 떨어지던 함정이 줄어듭니다.

• 텐서 ndim이 3인지 4인지부터 로그로 남기십시오

• rank-3인데도 fused가 도는지가 이번 변경의 핵심입니다

• reshape만으로 fused를 맞추던 우회를 제거한 뒤 결과를 확인합니다

원문: https://daker.ai/community/sdpa-rank3-fused-cuda-pytorch-2-14-batchless-fb