[Bug][ROCm]: DeepSeek V4 accuracy drops with MRV2 on MI350/MI355 when FULL_DECODE_ONLY graph

问题场景

用户在 ROCm 环境（MI350/MI355，gfx950）上运行 vLLM，使用 DeepSeek V4 模型并启用 MRV2。当 FULL_DECODE_ONLY graph 被使用时，模型输出精度出现下降。该问题在 vLLM 的 ROCm 相关 issue 中被报告，并被标记为 bug、rocm。

报错原文

[Bug][ROCm]: DeepSeek V4 accuracy drops with MRV2 on MI350/MI355 when FULL_DECODE_ONLY graph

原因分析

可能原因是 ROCm 后端在 FULL_DECODE_ONLY 图捕获/回放路径下，与 MRV2 或 DeepSeek V4 的某些算子组合不兼容，导致 Decode 阶段数值行为异常。Issue 中没有给出具体的根因定位或 kernel 级别分析，因此以上为可能原因，并非已确认结论。

环境排查

• 确认操作系统：Ubuntu 22.04.5 LTS（x86_64）
• 确认 Python 版本：3.12.13
• 确认 PyTorch 版本：2.12.0+git6bbd260
• 确认 ROCM / HIP 版本：7.2.53211
• 确认 MIOpen 版本：3.5.1
• 确认 GPU 架构：gfx950（对应 MI350/MI355）
• 确认是否启用 MRV2
• 确认是否启用 FULL_DECODE_ONLY graph
• 确认 vLLM 安装方式与版本（Docker、pip 或源码编译）
• 确认启动命令或 Python 脚本，以及使用的模型

解决步骤

1. 先记录当前 vLLM 版本、启动命令、模型名称和 MRV2 / FULL_DECODE_ONLY 相关配置，作为基线。
2. 复现精度下降：使用相同 prompt、相同 seed、相同采样参数，对比启用与不启用 FULL_DECODE_ONLY graph 时的输出差异。
3. 可优先尝试升级到较新的 vLLM nightly 构建，因为 Issue 最后确认该问题在最近几个 nightly 中不再复现。
4. 如果暂时无法升级 nightly，可参考 #52646 中提出的 workaround，但该方案在 Issue 中未被明确确认为最终修复。
5. 若升级后仍可复现，收集完整的启动日志、精度对比结果、rocminfo | grep gfx 输出以及 collect_env.py 结果，追加到 issue 中。

验证方法

在相同模型、相同 prompt 和相同采样参数下，重新运行启用 MRV2 与 FULL_DECODE_ONLY graph 的推理，确认输出精度与预期基线一致。若升级 nightly 后不再出现精度下降，即可认为该问题在该版本中已缓解或修复。

参考来源

vllm-project/vllm #52644

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。