RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {

用户在 vLLM 中加载 Qwen/Qwen3.5-27B-GPTQ-Int4 模型时触发错误。环境为 Ubuntu 24.04.3 LTS,Python 3.12.3,PyTorch 2.10.0+cu130,CUDA 13.0,搭载 NVIDIA RTX PRO 6000 Blackwell 显

RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {

RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {

快速结论:该报错通常在使用 vLLM 加载 GPTQ 量化模型(如 Qwen3.5-27B-GPTQ-Int4)时,因系统缺少 Python 开发头文件(Python.h)导致 Triton 编译失败,进而使引擎核心初始化崩溃。优先排查系统是否安装了 python-dev 或 python-dev-is-python3 包。

问题场景

用户在 vLLM 中加载 Qwen/Qwen3.5-27B-GPTQ-Int4 模型时触发错误。环境为 Ubuntu 24.04.3 LTS,Python 3.12.3,PyTorch 2.10.0+cu130,CUDA 13.0,搭载 NVIDIA RTX PRO 6000 Blackwell 显卡。

报错原文

/tmp/tmpb6zywp4k/__triton_launcher.c:7:10: fatal error: Python.h: No such file or directory
    7 | #include <Python.h>

RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {

原因分析

系统缺少 Python 开发头文件 Python.h,导致 vLLM 在编译 Triton 内核时失败。这通常是因为未安装 python-dev(在较新的 Ubuntu 版本中已更名为 python-dev-is-python3)。编译失败导致 vLLM 引擎初始化崩溃,输出上述 RuntimeError。

环境排查

  • 确认操作系统版本:Ubuntu 24.04.3 LTS (x86_64)
  • 确认 Python 版本:3.12.3
  • 确认是否已安装 python-dev 或 python-dev-is-python3 包:dpkg -l | grep python-dev
  • 确认 GCC 版本:13.3.0(已安装,但编译报错与编译器本身无关)
  • 确认 NVIDIA 驱动版本:580.126.09,CUDA 13.0(显卡驱动正常)

解决步骤

  1. 安装 Python 开发包:在终端中执行以下命令以安装系统缺失的头文件。
    sudo apt update
    sudo apt install python-dev-is-python3

    注意:如果使用 Ubuntu 24.04 及更新版本,python-dev 已被废弃,请使用 python-dev-is-python3

  2. 清理缓存并重试:安装完成后,建议清理 vLLM 的 Triton 缓存目录(如果有),然后重新运行加载模型命令。可优先尝试重新启动 vLLM 服务或脚本。
  3. 验证安装:确认 Python.h 已存在于系统路径中:
    find /usr/include -name "Python.h"

    正常应返回类似 /usr/include/python3.12/Python.h 的路径。

验证方法

重新执行加载 Qwen/Qwen3.5-27B-GPTQ-Int4 模型的命令,观察是否不再出现 fatal error: Python.h: No such file or directory 编译错误,并且 vLLM 引擎正常初始化,不再抛出 RuntimeError: Engine core initialization failed

参考来源

vllm-project/vllm #35880 — Issue 评论确认了缺少 python-dev 并建议安装 python-dev-is-python3

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

celebrityanime
celebrityanime
文章: 11309

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注