noti 0

    MY XP

    XP Info

    LEVEL 1

    Until Next Level 150 XP

    0/150 XP

    Today's XP

    0 / 800

    Total XP

    0

    Earned XP

    0

    Spent XP

    0

    Sign in with your SNS accounts

    google
    Sign in with Google
    Don't have an account? Sign Up
    Verify your email

    To sign up, you must verify your email. Do you want to resend the code?
    [Dacon] sign up verification

    Your email must be verified to complete the sign up process. Please verify your email below to complete.

    Terms of Use

    Privacy policy

    Consent to receive marketing information

    SDPA rank-3 입력이 융합 커널을 건너뛰던 함정 — PyTorch 2.14에서 수정됐습니다 — DAK

    도비콘
    2026.09.12 17:15 51 Views
    comments 0

    배치 차원이 없거나 이미 펼쳐진 rank-3 텐서를 Scaled Dot-Product Attention에 넣으면, 예전에는 융합 CUDA 백엔드 대신 math 경로로 떨어질 수 있었습니다. PyTorch 2.14는 rank-3 입력도 융합 백엔드로 보냅니다.

    자세한 내용과 근거는 DAKER 원문에서 확인하실 수 있습니다.


    핵심 요약

    • rank-3 SDPA 입력이 예전에는 융합 커널 대신 math 경로로 떨어질 수 있었습니다.

    • PyTorch 2.14는 rank-3 입력도 융합 백엔드로 보냅니다.

    • 공식 2.14 릴리스 기준으로 정리한 안내입니다.


    원문 보기: https://daker.ai/community/sdpa-rank3-fusion-kernel-skip-bug-pytorch-2-14

    0 Comments
    Login Required
    0 / 1000
    📣 The comment input field has been moved to the top of the comment list!
    to_list List
    Previous
    PyTorch 2.14의 @dynamic_spec으로 동적 shape를 compile·export에 한 번에
    Competition -
    Likes 0
    Views 55
    Comments 0
    한 달 전
    Current
    SDPA rank-3 입력이 융합 커널을 건너뛰던 함정 — PyTorch 2.14에서 수정됐습니다 — DAK
    Competition -
    Likes 0
    Views 51
    Comments 0
    한 달 전
    Next
    Codex /compact로 긴 세션 컨텍스트를 비워 이어서 작업합니다 — DAKER에서 자세히 보기
    Competition -
    Likes 0
    Views 57
    Comments 0
    한 달 전