RuntimeError: Please use HIP_VISIBLE_DEVICES instead of ROCR_VISIBLE_DEVICES

在 ROCm 平台上运行 benchmarks/kernels/benchmark_moe.py (含 --tune )时,脚本会在 ray.init() 之前把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES ,而新版 Ray 会拒绝该变量。优先排查的是脚

快速结论:在 ROCm 平台上运行 benchmarks/kernels/benchmark_moe.py(含 --tune)时,脚本会在 ray.init() 之前把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES,而新版 Ray 会拒绝该变量。优先排查的是脚本中的这处改名逻辑,以及 Ray 版本。

适用环境:Issue 已确认的组合包括:ROCm 镜像 rocm/vllm:rocm10.1.0_ubuntu24.04_py3.14-pytorch_2.13.0_vllm-0.29.0(内含 Ray 2.59.0)、WSL2、AMD Radeon AI PRO R9700 外加一块集成显卡。另有用户在 2× Radeon RX 9070 XT(gfx1201)、ROCm nightly 镜像(vLLM 0.32.1rc1)、Ray 2.59.0 以及 Ray 2.56.1 上复现。issue 中提到了 Python 3.14、PyTorch 2.13.0,但未说明这是否属于必须条件。

最快修复方案:可优先尝试:删除脚本中在 ray.init() 之前把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES 的逻辑(Issue 中提出时位于脚本第 1070–1077 行附近,并指出该改名逻辑在 main 分支上仍然存在),并让 worker 的设备检查改为读取 HIP_VISIBLE_DEVICES;随后保持 HIP_VISIBLE_DEVICES=0 运行 benchmark 和 --tune。该方案已在报告者本地修改中验证可用,官方修复在 PR #65935 中。

注意事项:多卡场景(如 HIP_VISIBLE_DEVICES=0,1)需要额外处理:vLLM 在 import 时会把 HIP_VISIBLE_DEVICES 复制到 CUDA_VISIBLE_DEVICES,Ray worker 会继承这份过期的副本。Issue 表示后续在 PR #65935 中补充了相应提交,使单卡、多卡和未设置三种情况都能正常工作;但 Issue 未说明具体做法,也未确认你所用版本是否已包含该修复。此外,Issue 作者不确定该检查从哪个 Ray 版本开始引入,也不确定旧版本是否仍需要这处改名;而 requirements/test/rocm.in 锁定的是 ray[default]>=2.56.0,<2.57。

问题场景

在 ROCm 环境下运行 vLLM 的 benchmarks/kernels/benchmark_moe.py,包括带 --tune 参数的情况。脚本在调用 ray.init() 之前会把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES。用户通过设置 HIP_VISIBLE_DEVICES 指定使用哪块显卡,结果 Ray 在初始化阶段直接抛出异常,benchmark 无法启动。

Issue 还指出:在带有集成显卡的机器上,直接不设置该变量并不是好的规避方法,因为 Ray 会把集成显卡也统计进去。

报错原文

RuntimeError: Please use HIP_VISIBLE_DEVICES instead of ROCR_VISIBLE_DEVICES

原因分析

最可能的原因是脚本中的变量改名与新版 Ray 的行为冲突。Issue 的复现表显示:

  • 设置 ROCR_VISIBLE_DEVICES=0(即脚本改出来的变量):触发上述 RuntimeError;
  • 设置 HIP_VISIBLE_DEVICES=0:ray.available_resources().get("GPU") 返回 1.0;
  • 两个都不设置:返回 2.0,集成显卡也被计入。

也就是说,脚本主动把 Ray 需要的变量名替换成了它不接受的名字。评论中提到,Ray 自 2.45(ray-project/ray#51104)起使用 HIP_VISIBLE_DEVICES,并且会拒绝单独使用 ROCR_VISIBLE_DEVICES。Issue 作者不确定是哪一版 Ray 引入该检查,也不排除旧版本仍需要这处改名,因此这一结论仅适用于已确认的新版本 Ray。

环境排查

  • 确认 Ray 版本:复现环境中的版本为 2.59.0,另有用户在 2.56.1 上复现;而 ROCm 测试 requirements 锁定的是 ray[default]>=2.56.0,<2.57。
  • 确认 vLLM 版本与镜像:已确认 vllm-0.29.0 镜像,以及 vLLM 0.32.1rc1 的 nightly 镜像。
  • 确认 ROCm 与显卡:Radeon AI PRO R9700 + 集成 GPU(WSL2),以及 Radeon RX 9070 XT(gfx1201),两者均复现。
  • 检查 benchmark_moe.py 中是否仍存在把 HIP_VISIBLE_DEVICES 改名为 ROCR_VISIBLE_DEVICES 的逻辑(Issue 中提出时位于脚本第 1070–1077 行附近)。
  • 检查 worker 侧的设备检查读取的是不是 HIP_VISIBLE_DEVICES。
  • 多卡场景检查 CUDA_VISIBLE_DEVICES 是否被 vLLM import 时从 HIP_VISIBLE_DEVICES 复制成过期副本。
  • 设置 HIP_VISIBLE_DEVICES 后,用 ray.available_resources().get("GPU") 确认 Ray 实际看到的 GPU 数量。

解决步骤

  1. 确认当前 benchmark_moe.py 中在 ray.init() 之前存在把 HIP_VISIBLE_DEVICES 改写为 ROCR_VISIBLE_DEVICES 的代码。
  2. 删除这处改名逻辑,不再覆盖 Ray 所需的 HIP_VISIBLE_DEVICES。
  3. 将 worker 中的设备检查改为读取 HIP_VISIBLE_DEVICES,与 Ray 为每个 worker 设置的变量保持一致。
  4. 保持 HIP_VISIBLE_DEVICES=0,重新运行 benchmark,以及带 --tune 的调用。
  5. 如果使用多卡,例如 HIP_VISIBLE_DEVICES=0,1,需要处理 CUDA_VISIBLE_DEVICES 被继承的过期副本问题。Issue 提到此项已在 PR #65935 中补充提交,但未给出具体代码,建议直接采用该 PR 的修复,而不是自行猜测改法。

验证方法

在设置 HIP_VISIBLE_DEVICES=0 的情况下执行 ray.init(num_cpus=1, include_dashboard=False, log_to_driver=False) 并打印 ray.available_resources().get("GPU"),应得到 1.0,而不是触发 RuntimeError,也不会出现集成显卡被计入的 2.0。随后确认 benchmark 和 --tune 已正常启动,并检查 worker 实际使用的是指定的那块显卡。多卡时确认每块 worker 落在正确的卡上。

参考来源

vllm-project/vllm #65919

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36421

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注