[Bug]: ROCm Stack DeepSeekv4.1 Flash Issue spamming logs with GLUON backend not available. Using TRITON backend!!!

问题场景

用户在 ROCm 环境使用 vllm/vllm-openai-rocm:deepseekv41-flash-0909 启动 DeepSeekv4.1 Flash 服务，多路 TP 工作进程（Worker_TP0 至 Worker_TP3）在启动阶段持续输出 GLUON 后端不可用、退回 TRITON 后端的日志，造成日志大量刷屏。

报错原文

(Worker_TP0 pid=389686) (Worker_TP3 pid=389689) GLUON backend not available. Using TRITON backend!!!
GLUON backend not available. Using TRITON backend!!!
(Worker_TP3 pid=389689) GLUON backend not available. Using TRITON backend!!!
(Worker_TP1 pid=389687) GLUON backend not available. Using TRITON backend!!!
(Worker_TP1 pid=389687) GLUON backend not available. Using TRITON backend!!!
(Worker_TP3 pid=389689) (Worker_TP2 pid=389688) GLUON backend not available. Using TRITON backend!!!
GLUON backend not available. Using TRITON backend!!!

原因分析

该日志表示 GLUON 后端不可用，运行时回退到 TRITON 后端。结合 Issue 信息，可能原因是当时使用的 AITER 版本中，GLUON 后端在 ROCm + DeepSeekv4.1 Flash 路径下尚未可用或存在缺陷，导致每个工作进程反复输出回退提示。维护者在 nightly 镜像上复核后确认问题已消失，报告者表示其 AITER PR 已合并，说明根因在于 AITER 侧的实现或修复，而非用户配置错误。

环境排查

• 确认容器镜像标签是否为 vllm/vllm-openai-rocm:deepseekv41-flash-0909，或更换为包含修复的 nightly 镜像。
• 确认所安装的 AITER 版本是否包含报告者合并的修复 PR。
• 确认 GPU 型号与 GFX 架构，可运行 rocminfo | grep gfx。
• 确认 vLLM 的安装方式（Docker 镜像、pip 或源码构建）及启动命令。
• Issue 中未提供 Python、PyTorch、CUDA 版本，可按实际部署环境补充记录，便于后续比对。

解决步骤

1. 记录当前使用的 ROCm 镜像标签与 AITER 版本，作为回滚基线。
2. 将环境切换到包含 AITER 修复的 nightly 镜像（维护者已在 nightly 镜像上确认该日志不再出现）；可优先尝试这种升级方式。
3. 启动 DeepSeekv4.1 Flash 服务，使用与问题报告时相同的 TP 配置复现流程。
4. 如果升级后仍然刷日志，收集最小复现脚本、完整启动命令、rocminfo | grep gfx 输出及完整日志，再提交给 ROCm 维护者排查。

验证方法

使用升级后的镜像重新启动 DeepSeekv4.1 Flash，观察各 Worker 的启动日志：若不再反复出现 GLUON backend not available. Using TRITON backend!!!，且服务能正常加载并响应请求，即可确认问题已解决。

参考来源

vllm-project/vllm #56540

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。