[bug]: [v7] Idle invokeai-web pins one CPU core at 100% (7.0.0a2-rocm, Radeon AI PRO R9700)

在 7.0.0a2-rocm 镜像中,invokeai-web 空载时单个 CPU 核跑到 100%,通常发生在 Linux + ROCm 10 + 可访问 GPU 的场景;最终定位为 ROCr 运行时的 AsyncEventsLoop 在用户态忙等,而非 InvokeAI 业务代码。优先用对照实验

快速结论:在 7.0.0a2-rocm 镜像中,invokeai-web 空载时单个 CPU 核跑到 100%,通常发生在 Linux + ROCm 10 + 可访问 GPU 的场景;最终定位为 ROCr 运行时的 AsyncEventsLoop 在用户态忙等,而非 InvokeAI 业务代码。优先用对照实验确认是否由 GPU 上下文触发,再检查宿主内核版本。

适用环境:InvokeAI 7.0.0-alpha.2(Docker 镜像 ghcr.io/invoke-ai/invokeai:7.0.0a2-rocm),Linux(unRAID,内核 6.18.58-Unraid,in-tree amdgpu),AMD Radeon AI PRO R9700(gfx1201,32 GB VRAM),Ryzen 7 3800X / 32 GB RAM;另有用户在 Ryzen AI 395+ Strix Halo(核显)上复现 Alpha 3。未确认项目:Python 版本未在 Issue 中明确给出(评论仅提及 torch 2.13.0+rocm10.0.0)。

最快修复方案:暂无确认的一步修复方案。Issue 中唯一被验证在 6.x 上正常的做法是继续使用 6.14.0-rocm(同一宿主上该版本空载约 0% CPU)。

注意事项:Issue 结论是“与 InvokeAI 无关”,属于 ROCm 10 运行时问题,因此调 InvokeAI 配置或节点无法解决。回退到 6.x 会失去 v7 功能。另请注意:该用户后续遇到的模型加载卡死是宿主内核回归导致,与 CPU 占满不是同一个问题,不要混用两者的处理方式。

问题场景

用户以 Docker 方式运行 InvokeAI 7.0.0-alpha.2 的 ROCm 镜像,在没有任何队列任务、也没有打开浏览器的空闲状态下,invokeai-web 从启动后就长期占满一个 CPU 核。即使用空根目录(无模型、全新数据库)启动也能复现。生成图片与否没有区别,属于持续性问题。同一台机器上的 6.14.0-rocm 空闲时约为 0%。另有用户在 Ryzen AI 395+ 核显 + Linux ROCm Docker 环境下报告同样现象,Alpha 3 依然存在。

报错原文

[bug]: [v7] Idle invokeai-web pins one CPU core at 100% (7.0.0a2-rocm, Radeon AI PRO R9700)

- One thread busy: the default asyncio executor thread "asyncio_0".
- py-spy (1000 samples / 10 s): 999 samples in
  _worker (concurrent/futures/thread.py:90), no work item, no run() frame
- /proc/<pid>/task/<tid>/syscall reports "running" on every sample
- py-spy --native fails here (UNW_EBADREG).

#0 rocr::core::Runtime::AsyncEventsLoop(void*) () from
   .../_rocm_sdk_core/lib/libhsa-runtime64.so.1
#1 rocr::os::ThreadTrampoline(void*) ()
#2 start_thread / clone

strace -c: no syscalls at all -> pure user-space spin

原因分析

最初用 py-spy 在 unRAID 宿主侧采样,把热点线程判断为 Python 的 asyncio_0 执行器线程,但这个结论不成立:从宿主侧无法匹配 Python 3.12 容器的线程 ID,py-spy 会退回到启发式判断,把空闲的 concurrent.futures worker 误标为活跃。

在共享 PID 命名空间的调试容器中复核后,实际热点线程是 ROCr(HSA 运行时 libhsa-runtime64.so.1)的 AsyncEventsLoop:该线程 100% CPU、5 秒内 voluntary_ctxt_switches 只从 3 略有增加、strace -c 完全没有系统调用,说明是纯用户态死循环忙等。同一进程里另一个跑 AsyncEventsLoop 的兄弟线程则能正确阻塞在 ioctl(hsaKmtWaitOnMultipleEvents_ExtCtx → hsakmt_ioctl)上。

对照实验进一步排除 InvokeAI 代码:仅 import torch 时 CPU 为 0.00%,一旦执行 torch.zeros(1, device='cuda') 建立 GPU 上下文,CPU 立刻约 100%。容器内也没有设置任何 HSA_*/HIP_*/ROC* 环境变量。因此可能原因是:Linux 下 ROCm 10 + gfx1201 的 ROCr AsyncEventsLoop 忙等,可能依赖宿主内核 / KFD 版本。维护者在 Windows ROCm(RX 9060 XT,相同 torch 2.13.0+rocm10.0.0)上无法复现,空闲 CPU 为 0%,提示该问题为 Linux 特有。

环境排查

  • 确认是否为 Linux + ROCm 镜像,并记录完整镜像标签(如 7.0.0a2-rocm);Windows ROCm 未复现,Linux 是重点。
  • 确认 GPU 型号与架构标识:Issue 中为 Radeon AI PRO R9700(gfx1201);另有 Strix Halo 核显复现。
  • 确认容器是否能真正打开 GPU:查看启动日志中的 Using torch device: ...,并在未设置 RENDER_GROUP_ID 时补上 -e RENDER_GROUP_ID=$(stat -c %g /dev/kfd) 再测。
  • 确认宿主内核版本与 KFD/amdgpu 行为:Issue 环境为 6.18.58-Unraid;该用户后续遇到的模型加载卡死被定位为内核回归,回退 7.3.3 后恢复。
  • 确认容器内是否设置了 HSA_*/HIP_*/ROC* 环境变量(该案例中为空)。
  • 注意在 Python 3.12 容器里不要从宿主侧用 py-spy 定位热点线程,需进入共享 PID 命名空间的容器内排查。
  • Issue 未提供 Python、CUDA(AMD 平台不适用)等信息,不要据此补写版本结论。

解决步骤

  1. 先做最小对照实验,区分是 InvokeAI 还是 ROCm 运行时:用同一镜像、同一设备参数分别运行 python -c "import torch, time; time.sleep(600)" 和 python -c "import torch, time; torch.zeros(1, device='cuda'); print(torch.cuda.get_device_name(0), flush=True); time.sleep(600)",用 docker stats --no-stream 对比 CPU。若只有后者出现约 100%,可判定由 GPU 上下文 / ROCm 运行时触发。
  2. 确认 GPU 可访问:在启动命令中加入 -e RENDER_GROUP_ID=$(stat -c %g /dev/kfd),重启后检查日志中的 Using torch device: ... 是否为预期 GPU。
  3. 用共享 PID 命名空间的调试容器定位热点线程:运行 docker run --rm -it --pid=container:<invoke-container> --cap-add SYS_PTRACE ubuntu:24.04 bash,安装 procps strace gdb py-spy 后,用 top -H -b -n 1 找出高占用 TID,再用 grep ctxt /proc/1/task/$TID/status(间隔 5 秒比较)、strace -c -p $TID、gdb -p 1 ... thread apply all bt 收集证据。
  4. 若栈顶落在 rocr::core::Runtime::AsyncEventsLoop 且 strace -c 无系统调用,则按 ROCm 运行时问题处理:可优先尝试更换 / 回退 ROCm 版本或镜像(Issue 中 6.14.0-rocm 在同一宿主空闲约 0%),或在测试镜像中逐个尝试相关 HSA_* 变量——这些在 Issue 中均未被验证,仅作为排查方向。
  5. 检查宿主内核:若同时还出现模型加载变慢或卡死,先核对 unRAID 内核版本,可优先尝试回退到 7.3.3(内核不再循环在 amdgpu_hmm_range_get_pages 的 EBUSY)。
  6. 如果不需要 v7 特性且无法更换 ROCm 构建,继续使用 6.14.0-rocm 是 Issue 中唯一被验证空闲 CPU 正常的方案。

验证方法

在不启动任何生成任务、不打开浏览器的情况下,用 docker stats 或容器内 top -H 观察:若空闲 CPU 从约 100% 降回接近 0%,且 torch.zeros(1, device='cuda') 对照已不再触发单核占满,即视为问题解决或规避成功。若仅回退 InvokeAI 版本,应确认 Using torch device: ... 仍能正常识别 GPU,且空载 CPU 与 6.14.0-rocm 基线一致。

参考来源

invoke-ai/InvokeAI #9998

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36596

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注