[Performance]: Non-spec Qwen3.5 CUDA GDN wrapper fallback regressed H200 throughput (fixed by #59735)

问题场景

在 vLLM 中用 Qwen/Qwen3.5-9B 做批量 throughput 压测（vllm bench throughput，--async-engine，--dataset-name prefix_repetition），非投机解码、TP=2 部署在 H200 上时，输出 token/s 明显低于预期。Issue 报告在相同的 workload 下，把 GDN 解码内核从默认 cuda 换成 triton，吞吐提升 30%~35%，说明默认 CUDA 路径存在一次无效的 wrapper 回退。

报错原文

[Performance]: Non-spec Qwen3.5 CUDA GDN wrapper fallback regressed H200 throughput (fixed by #59735)

VLLM_GDN_DECODE_KERNEL defaults to cuda
forward_cuda selects qwen_gdn_attention_core_fused_norm_packed without checking whether the batch is speculative
The fused-kernel predicate requires MTP; otherwise the wrapper runs _forward_core followed by _rms_norm_gated_cuda

原因分析

在 #59735 之前，非投机（non-spec）的 Qwen3.5 解码即使没有投机/MTP 配置，也会进入以 CUDA 标记的 packed fused-norm wrapper（qwen_gdn_attention_core_fused_norm_packed）。但融合 CUDA 递归内核的判定条件 _can_use_fused_gdn_mtp_decode 要求存在 spec-decode 元数据，因此在非投机批次下它永远走不到真正的融合路径，而是回退成 _forward_core + _rms_norm_gated_cuda。

也就是说，两条路径的递归计算（_forward_core）是同一份，差异只在于外层路由和 gated normalization：CUDA 路径使用 vLLM 的 RMSNormGated，Triton 路径使用 FLA 的 Triton layer_norm_fwd，此外还有 packing 带来的额外开销。回退路径的 wrapper 在没有投机配置时属于不可达的死重，因此造成性能损失。Issue 讨论中也指出，受影响的内核是外层路由，而非 CUDA 递归数学本身。

环境排查

• vLLM 版本：是否为 0.29.0 或对应 pre-fix 版本（pre-fix main 参考 21c08ac4589）。
• 模型：Qwen/Qwen3.5-9B，revision c202236235762e1c871ad0ccb60c8ee5ba337b9a，BF16。
• 环境变量：VLLM_GDN_DECODE_KERNEL 是否默认为 cuda（证据中默认值为 cuda，对应 vllm/envs.py 的默认定义）。
• 是否使用投机/MTP：若未启用 speculative 配置，则该批次属于 non-spec，会命中这条回退路径。
• 精度与运行配置：Model Runner V2、--prefix-cache-retention-interval（0 或 None）、chunked prefill、FCFS、关闭 detokenization。
• 硬件：确认是 H200（复现报告为 NVLinked 双卡 TP=2）还是 H100（对照复测显示收益仅 1.3%~1.5%）。
• CUDA 相关采样设置：复现命令使用 VLLM_USE_FLASHINFER_SAMPLER=0、VLLM_USE_V2_MODEL_RUNNER=1。

解决步骤

1. 确认 vLLM 版本，记录当前是否低于包含 #59735 的版本；pre-fix main 可参照 21c08ac4589。
2. 升级到包含 #59735 的版本，该修复合并为 commit e4294144a8ca4e57da712934dca33f89bef8fe78。修复保留无投机配置模型走标准路径，同时保留投机/MTP 的分发逻辑和已配置的 backend 默认值。
3. 若无法立即升级，可优先尝试将 VLLM_GDN_DECODE_KERNEL 设为 triton，作为非投机解码的临时绕过方案；这也是原报告中最先观察到吞吐提升的对照设置。
4. 升级或切换后，按原报告命令重新跑一遍 throughput：VLLM_USE_FLASHINFER_SAMPLER=0 VLLM_USE_V2_MODEL_RUNNER=1 VLLM_GDN_DECODE_KERNEL=<KERNEL> CUDA_VISIBLE_DEVICES=0,1 vllm bench throughput --backend vllm --async-engine --model Qwen/Qwen3.5-9B --revision c202236235762e1c871ad0ccb60c8ee5ba337b9a --dataset-name prefix_repetition，先固定其他变量，只对比 kernel 取值。
5. 如果关注 vLLM 0.29.0 之外的版本，不要直接套用 30% 的预期收益；在 H100 上 #59735 的重复测量仅得到 +1.31% 和 +1.47%，方向一致但量级更小。
6. 验证测试层面：原 pre-fix 测试预期纯解码时融合内核调用次数为零；修复后的新构造器回归测试会在原 CUDA/non-spec 用例上失败、在打补丁后通过，可以先跑 CUDA 套件中的这组用例确认分发门控生效。

验证方法

在 H200 上按固定 workload（200 请求、相同 prefix 保留策略）对比 stock 与修复后的输出 tok/s；Issue 中验证结果显示 sparse（0）为 1,921.131 vs 1,490.131 tok/s，dense（None）为 2,098.774 vs 1,600.377 tok/s，配对收益分别为 +28.91%（95% CI +25.78%~+32.12%）和 +31.14%（95% CI +29.87%~+32.43%）。另外通过 CUDA 测试套件确认分发门控用例通过，且 greedy prompt 的 token IDs 与未修复版本一致。若在 H100 上验证，预期收益方向一致但约为 1.3%~1.5%，不应以 H200 数值作为通过标准。

参考来源

vllm-project/vllm #59520（[Performance]: Non-spec Qwen3.5 CUDA GDN wrapper fallback regressed H200 throughput，fixed by #59735，commit e4294144a8ca4e57da712934dca33f89bef8fe78）

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。