RuntimeError: Engine core process EngineCore died unexpectedly.

该报错通常出现在 vLLM 长时间推理运行后,EngineCore 的某个步骤在 sample_tokens 阶段迟迟等不到 worker 的共享内存数据块,默认 300 秒预算耗尽后整体超时,并以 RuntimeError: Engine core process EngineCore died

快速结论:该报错通常出现在 vLLM 长时间推理运行后,EngineCore 的某个步骤在 sample_tokens 阶段迟迟等不到 worker 的共享内存数据块,默认 300 秒预算耗尽后整体超时,并以 RuntimeError: Engine core process EngineCore died unexpectedly. 的形式导致 API 服务 500 与引擎退出。优先排查各 rank 是否出现 WorkerProc hit an exception,并开启 watchdog 抓取挂起栈。

适用环境:Issue 已确认的环境为 vLLM 0.32.0,镜像 vllm/vllm-openai:latest,NVIDIA B200 8 卡,NVIDIA-SMI 610.43.02 / KMD 610.43.02、CUDA UMD 13.3,模型 DeepSeek v4.1 Flash 1017,开启 VLLM_USE_RUST_FRONTEND=1、DSpark-5 投机解码,TP=8。另一复现者环境同为 VLLM 0.32.0 + deepseek-v4.1-flash-1017 + DSpark5。

最快修复方案:升级到评论中验证修复的镜像 vllm/vllm-openai:cu134-nightly-40941f2c4ba96fba0a7e282a5355e89cd74d9ac5。

注意事项:该镜像是 nightly 构建,评论者仅说明它修复了问题,未给出具体改动说明;升级前建议保留原镜像与启动参数以便回退。若升级后仍复现,应回到下方排查流程,用 watchdog 栈转储确认挂起来源。

问题场景

用户使用 vLLM 0.32.0 在 8 张 B200 上以 TP=8 部署 DeepSeek v4.1 Flash 1017,开启 Rust 前端、DSpark-5 投机解码、FlashInfer MLA Sparse 注意力、fp8 KV cache 与 FULL_AND_PIECEWISE cudagraph。服务正常跑约 12 小时后中断:先出现请求流被丢弃与前端自动中止请求,随后 rank 0 反复打印 ring buffer 60 秒无新数据的告警,最终在 sample_tokens 处超时,API 侧出现约 288 秒延迟的 500 响应。

报错原文

TimeoutError: RPC call to sample_tokens timed out.
RuntimeError: Engine core process EngineCore died unexpectedly.
EngineCore encountered a fatal error.
[shutdown] Executor: waiting for worker exit count=8
Parent process exited, terminating worker queues

原因分析

  • 根据 Issue 中维护者的分析,sample_tokens 派发超时预算来自 VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS(默认 300 秒),超时在共享内存环形缓冲区中抛出,再被重新抛出为 RPC call to sample_tokens timed out.。日志中反复出现的 60 秒行是另一个开关 VLLM_RINGBUFFER_WARNING_INTERVAL(默认 60 秒),表示读取侧长时间没有收到新数据块;首次 60 秒告警到 300 秒超时之间,说明存在一次发布停滞且始终未恢复。
  • 超时后的行为是设计属性:该 TimeoutError 不走 worker 失败路径,默认关闭 fault tolerance 时,一个停滞的步骤就会拖垮整个引擎与 API 服务。
  • 维护者指出还缺少关键证据:事故期间 worker 在 300 秒窗口内仍然存活,[shutdown] ... waiting for worker exit 属于正常清理路径。因此仅凭 rank 0 日志无法确定根因。
  • 可能原因(与 #41530 / #60928 中记录的同类签名一致):某个非输出 rank 的异常被记录后 worker 继续运行,其集合通信与上一步错位,引擎直到 sample_tokens 超时才察觉。若所有 rank 均无该异常,则触发点另在他处。

环境排查

  • 确认 vLLM 版本是否为 0.32.0,以及是否使用了 nightly 镜像。
  • 确认 Python、PyTorch、CUDA 版本;Issue 仅给出 CUDA UMD 13.3 与 NVIDIA 驱动 610.43.02。
  • 确认启动参数组合:VLLM_USE_RUST_FRONTEND=1、VLLM_USE_V2_MODEL_RUNNER=1、DSpark-5 投机解码、FLASHINFER_MLA_SPARSE_DSV41 注意力后端、indexer_kv_dtype=mxfp4、fp8 KV cache、enable_flashinfer_autotune。
  • 确认是否开启 --enable-fault-tolerance(默认关闭)。
  • 逐 rank(而非只看 rank 0)检查日志中是否出现 WorkerProc hit an exception。
  • 询问复现用的基准负载,尤其是挂起时是否处于长 prefill 形态。

解决步骤

  1. 可优先尝试:将镜像替换为评论中验证修复的 vllm/vllm-openai:cu134-nightly-40941f2c4ba96fba0a7e282a5355e89cd74d9ac5,其余启动参数保持不变,重新跑同样的长稳压测。
  2. 若不便升级或升级后仍需定位,在启动参数中加入 watchdog 配置:--watchdog-config '{"dump_dir":"/some/dir","timeout":60}'。该功能默认关闭(dump_dir=""),开启后 EngineCore 与每个 worker 都会注册栈转储哨兵,进程超过 timeout 秒未喂狗时,会把全部线程的 Python 栈写入 VLLM_STACK_DUMP_for_<engine|worker>_<rank>_<pid>.log。
  3. 在首次 60 秒 ring buffer 告警到 300 秒超时之间(约 4 分钟窗口),对每个 rank 的 worker PID 在宿主机执行 py-spy dump --pid <worker_pid>,记录挂起位置;引擎退出后同样的命令将返回空。
  4. 对所有 rank 的日志在首次 shm 告警前几秒内检索 WorkerProc hit an exception:若命中,按 #41530 / #60928 描述的“非输出 rank 异常导致集合通信错位”方向排查;若全部 rank 均无该字符串,将栈转储作为主要证据继续分析。
  5. 若希望把这类超时从“致命”变为“可恢复”,可评估开启 fault tolerance:维护者说明在 worker 仍存活时超时会进入 DIAGNOSING → UNHEALTHY,并等待 engine_recovery_timeout_sec(默认 120 秒)接收重试或缩容指令后再重新抛出。注意该值仅是默认值说明,Issue 未验证此路径下的恢复效果,且需要配套的编排器,否则只是把退出时间延长一个恢复超时。
  6. 如条件允许,开启 watchdog 后再跑一次 12 小时长稳,用于判断是否属于上述集合通信错位族,或另一类独立停滞。

验证方法

升级镜像后按原参数复跑 12 小时以上,观察是否不再出现 60 秒 ring buffer 告警、TimeoutError: RPC call to sample_tokens timed out. 与 API 500;若开启了 watchdog,确认整个运行期间 dump_dir 未产生新的 VLLM_STACK_DUMP_for_*.log,且统计日志中的吞吐与投机解码接受率保持正常。若仍复现,以首次告警前后的栈转储和全 rank 的 WorkerProc hit an exception 检索结果作为新证据再定位。

参考来源

vllm-project/vllm #64392(同签名关联讨论:#41530、#60928,均为评论中引用)

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注