快速结论:这个报错通常出现在 Hopper(H20)上运行 GDN 模型的 Triton/FLA prefill,触发 chunk_scaled_dot_kkt_fwd 的某些 autotune 配置后结果错误且不可复现。优先排查 Triton 版本与 chunk_scaled_dot_kkt 的 autotune 配置组合(尤其是 BK < K 且 num_warps >= 4 的配置)。
适用环境:Issue 已确认:TencentOS Server 4.2(x86_64)、Python 3.12.15、PyTorch 2.10.0+cu126、CUDA 12.6(PyTorch 构建)、NVIDIA 驱动 535.161.08、8× NVIDIA H20;相关 SwEEP 复现另在 H100 上进行,Triton 3.6 至 main 均受影响。
最快修复方案:暂无确认的一步修复方案。Issue 中端到端验证过的工作区方案是剔除这些有问题的 autotune 配置;后续讨论确认更好的做法是在 kernel 中把 beta 的应用移到 K 循环之后(与上游 FLA 一致),并已提交到 #67812。
注意事项:PR #65927 的绝对 BK < 128 裁剪只对 K=128 的模型(如 Qwen3-Next / 3.5 GDN)恰好正确,对 K=256 仍会保留失败配置;配置裁剪只是规避,未触及根因(疑为 Triton 在 async wgmma 寄存器操作数上的竞争),该 Repro 尚未在 openai/triton 单独建 issue。
问题场景
用户在 vLLM 中运行 GDN 模型的 prefill(Triton/FLA 路径),在 Hopper 架构 H20 上配合 Triton 3.6 触发 chunk_scaled_dot_kkt_fwd 的 autotune 选择。表现为输出错误且非确定性;讨论中提到在 verl/GRPO 强化学习验证中观察到 rollout 与 trainer 的 KL 从 0.03–0.06 降到约 4e-4,degenerate 输出消失等问题。
报错原文
[Bug]: GDN Triton/FLA prefill gives wrong, non-deterministic results on Hopper (H20) with triton 3.6: `chunk_scaled_dot_kkt_fwd` autotune configs with BK < K and num_warps >= 4 are broken
原因分析
可能原因:chunk_scaled_dot_kkt 在 BK < K 且 num_warps >= 4 的 autotune 配置下产生非确定性结果。Issue 讨论中的全面 sweep 显示,在 Triton 3.6 到 main 的版本范围内,这类配置全部不可复现(15 行 Repro 19/19 失败),指向 Triton 在 async wgmma 寄存器操作数上的竞争。vLLM 自带的 FLA 代码与上游 FLA 在 beta 应用时序上存在差异,将 beta 移到 K 循环之后(与上游一致)可修复 K=128 与 K=256 下的全部 27 个配置。
环境排查
- 确认 Triton 版本(Issue 中 Triton 3.6 至 main 均复现)。
- 确认 GPU 架构(Hopper:H20/H100)。
- 确认 PyTorch 版本与 CUDA 版本(Issue 环境为 PyTorch 2.10.0+cu126、CUDA 12.6 构建、运行时 12.2)。
- 确认 Python 版本(3.12.15)。
- 确认所用 GDN 模型的 head dim / K 取值(K=128 与 K=256 表现不同)。
- 确认当前
chunk_scaled_dot_kkt实际选中的 autotune 配置(是否落在BK < K且num_warps >= 4)。
解决步骤
- 先复现问题:在目标模型上跑 prefill,确认结果错误且多次运行不一致。
- 记录
chunk_scaled_dot_kkt在 K=128 和 K=256 下实际选中的 autotune 配置,筛选出BK < K且num_warps >= 4的项。 - 临时规避(已验证端到端):剔除上述有问题的 autotune 配置。注意 PR #65927 的绝对
BK < 128裁剪仅在 K=128 时足够,K=256 仍需按 K-relative 条件处理,可优先尝试将裁剪逻辑改为按BK < K判断。 - 可优先尝试的根因侧修改:参照上游 FLA 做法,在 kernel 中把
beta的应用移到 K 循环之后,从而在不禁用任何 autotune 配置的前提下修复。该改动已在 #67812 中提交。 - 升级到包含该 kernel 修改的 vLLM 版本后,重新验证;如仍想对旧版 Triton 加保护,建议用
early_config_prune取代整体移除配置。
验证方法
在修复后的版本上重复 prefill 推理,确认同一输入多次运行结果一致且正确;并在 K=128 与 K=256 的模型上分别覆盖。Issue 中提到可用 verl/GRPO 端到端验证:rollout 与 trainer 的 KL 应从异常低值(约 4e-4)回到 0.03–0.06,并观察 degenerate 输出是否消失。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


