快速结论:在 ROCm 平台上运行 benchmarks/kernels/benchmark_moe.py(含 --tune)时,脚本会在 ray.init() 之前把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES,而新版 Ray 会拒绝该变量。优先排查的是脚本中的这处改名逻辑,以及 Ray 版本。
适用环境:Issue 已确认的组合包括:ROCm 镜像 rocm/vllm:rocm10.1.0_ubuntu24.04_py3.14-pytorch_2.13.0_vllm-0.29.0(内含 Ray 2.59.0)、WSL2、AMD Radeon AI PRO R9700 外加一块集成显卡。另有用户在 2× Radeon RX 9070 XT(gfx1201)、ROCm nightly 镜像(vLLM 0.32.1rc1)、Ray 2.59.0 以及 Ray 2.56.1 上复现。issue 中提到了 Python 3.14、PyTorch 2.13.0,但未说明这是否属于必须条件。
最快修复方案:可优先尝试:删除脚本中在 ray.init() 之前把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES 的逻辑(Issue 中提出时位于脚本第 1070–1077 行附近,并指出该改名逻辑在 main 分支上仍然存在),并让 worker 的设备检查改为读取 HIP_VISIBLE_DEVICES;随后保持 HIP_VISIBLE_DEVICES=0 运行 benchmark 和 --tune。该方案已在报告者本地修改中验证可用,官方修复在 PR #65935 中。
注意事项:多卡场景(如 HIP_VISIBLE_DEVICES=0,1)需要额外处理:vLLM 在 import 时会把 HIP_VISIBLE_DEVICES 复制到 CUDA_VISIBLE_DEVICES,Ray worker 会继承这份过期的副本。Issue 表示后续在 PR #65935 中补充了相应提交,使单卡、多卡和未设置三种情况都能正常工作;但 Issue 未说明具体做法,也未确认你所用版本是否已包含该修复。此外,Issue 作者不确定该检查从哪个 Ray 版本开始引入,也不确定旧版本是否仍需要这处改名;而 requirements/test/rocm.in 锁定的是 ray[default]>=2.56.0,<2.57。
问题场景
在 ROCm 环境下运行 vLLM 的 benchmarks/kernels/benchmark_moe.py,包括带 --tune 参数的情况。脚本在调用 ray.init() 之前会把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES。用户通过设置 HIP_VISIBLE_DEVICES 指定使用哪块显卡,结果 Ray 在初始化阶段直接抛出异常,benchmark 无法启动。
Issue 还指出:在带有集成显卡的机器上,直接不设置该变量并不是好的规避方法,因为 Ray 会把集成显卡也统计进去。
报错原文
RuntimeError: Please use HIP_VISIBLE_DEVICES instead of ROCR_VISIBLE_DEVICES
原因分析
最可能的原因是脚本中的变量改名与新版 Ray 的行为冲突。Issue 的复现表显示:
- 设置
ROCR_VISIBLE_DEVICES=0(即脚本改出来的变量):触发上述RuntimeError; - 设置
HIP_VISIBLE_DEVICES=0:ray.available_resources().get("GPU")返回 1.0; - 两个都不设置:返回 2.0,集成显卡也被计入。
也就是说,脚本主动把 Ray 需要的变量名替换成了它不接受的名字。评论中提到,Ray 自 2.45(ray-project/ray#51104)起使用 HIP_VISIBLE_DEVICES,并且会拒绝单独使用 ROCR_VISIBLE_DEVICES。Issue 作者不确定是哪一版 Ray 引入该检查,也不排除旧版本仍需要这处改名,因此这一结论仅适用于已确认的新版本 Ray。
环境排查
- 确认 Ray 版本:复现环境中的版本为 2.59.0,另有用户在 2.56.1 上复现;而 ROCm 测试 requirements 锁定的是
ray[default]>=2.56.0,<2.57。 - 确认 vLLM 版本与镜像:已确认
vllm-0.29.0镜像,以及 vLLM 0.32.1rc1 的 nightly 镜像。 - 确认 ROCm 与显卡:Radeon AI PRO R9700 + 集成 GPU(WSL2),以及 Radeon RX 9070 XT(gfx1201),两者均复现。
- 检查
benchmark_moe.py中是否仍存在把HIP_VISIBLE_DEVICES改名为ROCR_VISIBLE_DEVICES的逻辑(Issue 中提出时位于脚本第 1070–1077 行附近)。 - 检查 worker 侧的设备检查读取的是不是
HIP_VISIBLE_DEVICES。 - 多卡场景检查
CUDA_VISIBLE_DEVICES是否被 vLLM import 时从HIP_VISIBLE_DEVICES复制成过期副本。 - 设置
HIP_VISIBLE_DEVICES后,用ray.available_resources().get("GPU")确认 Ray 实际看到的 GPU 数量。
解决步骤
- 确认当前
benchmark_moe.py中在ray.init()之前存在把HIP_VISIBLE_DEVICES改写为ROCR_VISIBLE_DEVICES的代码。 - 删除这处改名逻辑,不再覆盖 Ray 所需的
HIP_VISIBLE_DEVICES。 - 将 worker 中的设备检查改为读取
HIP_VISIBLE_DEVICES,与 Ray 为每个 worker 设置的变量保持一致。 - 保持
HIP_VISIBLE_DEVICES=0,重新运行 benchmark,以及带--tune的调用。 - 如果使用多卡,例如
HIP_VISIBLE_DEVICES=0,1,需要处理CUDA_VISIBLE_DEVICES被继承的过期副本问题。Issue 提到此项已在 PR #65935 中补充提交,但未给出具体代码,建议直接采用该 PR 的修复,而不是自行猜测改法。
验证方法
在设置 HIP_VISIBLE_DEVICES=0 的情况下执行 ray.init(num_cpus=1, include_dashboard=False, log_to_driver=False) 并打印 ray.available_resources().get("GPU"),应得到 1.0,而不是触发 RuntimeError,也不会出现集成显卡被计入的 2.0。随后确认 benchmark 和 --tune 已正常启动,并检查 worker 实际使用的是指定的那块显卡。多卡时确认每块 worker 落在正确的卡上。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。
![[Bug]: #67743 — LLaVA-OneVision crashes when videos have different frame counts](https://www.chat-gpts.plus/wp-content/uploads/2026/11/68004-44174f4e-768x403.jpg)

![issue: [regression] [dev] closing a tab in an unsent new chat removes it from the chat you just left](https://www.chat-gpts.plus/wp-content/uploads/2026/11/34303-6ea572a8-768x403.jpg)