배치 차원이 없거나 이미 펼쳐진 rank-3 텐서를 Scaled Dot-Product Attention에 넣으면, 예전에는 융합 CUDA 백엔드 대신 math 경로로 떨어질 수 있었습니다. PyTorch 2.14는 rank-3 입력도 융합 백엔드로 보냅니다.

자세한 내용과 근거는 DAKER 원문에서 확인하실 수 있습니다.

핵심 요약

• rank-3 SDPA 입력이 예전에는 융합 커널 대신 math 경로로 떨어질 수 있었습니다.

• PyTorch 2.14는 rank-3 입력도 융합 백엔드로 보냅니다.

• 공식 2.14 릴리스 기준으로 정리한 안내입니다.

원문 보기: https://daker.ai/community/sdpa-rank3-fusion-kernel-skip-bug-pytorch-2-14