快速结论:这个报错通常出现在 XPU(Intel GPU)上首次执行 Kimi-K3 系列模型(如 Kimi-Linear-48B-A3B)的注意力前向时,原因是解码路径所需的 fused 自定义算子没有 XPU 注册;应优先确认 vLLM 与 vllm-xpu-kernels 的版本是否已包含对应修复。
适用环境:Issue 确认的环境为 vLLM、Intel XPU 平台、Kimi-K3 系列模型(Kimi-Linear-48B-A3B),算子实现限 bf16/fp16;Python、PyTorch、CUDA、驱动版本在 Issue 中未给出,不要自行假设。
最快修复方案:暂无确认的一步修复方案。Issue 中描述的修复需要 vllm-xpu-kernels 提供两个算子的 SYCL 实现,并由 vLLM 侧接入 XPU 路径;Issue 关闭时指向 vllm-xpu-kernels PR #480 与 vLLM PR #49598 作为解决途径,可优先尝试升级到包含这些改动的新版本。
注意事项:两个仓库的改动存在依赖顺序,需先注册算子、再启用 vLLM 的 XPU 路径;Issue 中提到算子目前仅支持 bf16/fp16,端到端性能影响尚未测量,端到端验证计划在改动合入后执行。Issue 中的部分 PR 编号标注为 TBD,实际合入内容以仓库为准。
问题场景
用户在 Intel XPU 上运行 vLLM 加载 Kimi-Linear-48B-A3B(以及其他 Kimi-K3 系列模型)进行推理。模型第一次执行 attention 前向(实际 serving 流量下先进入 decode)时崩溃。Issue 说明 Kimi-Linear 已被合并进共享的 Kimi-K3 模型实现(#50000),其 MLA epilogue 逻辑(RoPE、K/Q 拼接、paged-cache 写入)改为调用 CUDA-only 的 fused 自定义算子,而这些算子在 XPU 上未注册。
报错原文
AttributeError: '_OpNamespace' '_C' object has no attribute 'fused_kimi_k3_mla_decode_q_concat_kv_cache_insert'
相关算子还有 prefill 路径使用的 fused_kimi_k3_mla_key_concat_kv_cache_insert,同样缺少 XPU 注册。
原因分析
最可能的原因是:Kimi-K3 模型实现把 MLA epilogue 拆成两个 fused 自定义算子,prefill 使用 fused_kimi_k3_mla_key_concat_kv_cache_insert,decode 使用 fused_kimi_k3_mla_decode_q_concat_kv_cache_insert。这两个算子只有 CUDA 实现,没有注册到 torch::kXPU,因此在 XPU 张量上访问 torch.ops._C.<name> 时无法解析,抛出 AttributeError。由于真实 serving 流量通常先走到 decode,所以实际最先命中的是 decode 版算子。另外,Issue 提到 nvidia/kda_metadata.py 中存在仅面向 CUDA 的过时 assert,会挡住本可跨平台使用的 Triton launcher,这也是该模型在 XPU 上跑通所需的配套修正之一。
环境排查
- 确认运行平台确实是 Intel XPU,且 vLLM 走的是 XPU 路径(
current_platform.is_xpu())。 - 确认 vLLM 版本是否包含 Kimi-K3 的 XPU 接入改动(Issue 关闭时指向 PR #49598)。
- 确认 vllm-xpu-kernels 版本是否已包含两个 fused 算子的 SYCL 实现与 XPU 注册(Issue 提及 PR #480,以及正文中的一个 TBD PR)。
- 确认模型权重为 bf16 或 fp16;Issue 说明当前算子实现仅支持这两种精度。
- 确认使用的是 Kimi-K3 系列(含 Kimi-Linear)模型,而非其他注意力实现的模型。
- Python、PyTorch、XPU 驱动和 oneAPI 版本在 Issue 中未给出,可按所装 vLLM XPU 发行版的官方要求核对。
解决步骤
- 先升级 vllm-xpu-kernels 到包含
fused_kimi_k3_mla_key_concat_kv_cache_insert与fused_kimi_k3_mla_decode_q_concat_kv_cache_insert的 SYCL 实现及 XPU 注册的版本(Issue 关联 vllm-xpu-kernels PR #480)。 - 再升级 vLLM 到包含
vllm/models/kimi_k3/xpu/接入包、kimi_k3/__init__.py中current_platform.is_xpu()分支,以及nvidia/kda_metadata.py中 CUDA-onlyassert修正的版本(Issue 关联 vLLM PR #49598)。 - 保持依赖顺序:必须先完成第 1 步,再启用第 2 步的 XPU 路径,否则 vLLM 侧调用仍会找不到算子。
- 若无法立即升级,可优先尝试在可回退的环境中改用 CUDA 设备运行同一模型,或暂时避开 Kimi-K3 系列模型;这是规避而非修复,未经 Issue 验证。
- 升级后如仍报同样的 AttributeError,检查是否混用了旧版 vllm-xpu-kernels,导致算子未被注册。
验证方法
在 XPU 上加载 Kimi-Linear-48B-A3B-Instruct 并执行首次 attention 前向,确认不再出现 AttributeError: '_OpNamespace' '_C' object has no attribute 'fused_kimi_k3_mla_decode_q_concat_kv_cache_insert'。Issue 的完整验证计划包括:对两个算子 × RoPE 开关 × 多种 shape,以及非顺序 slot mapping 等边界情况,在 B70 上与纯 PyTorch 参考实现比对正确性;再进行 op 级微基准与端到端 serve、准确率评测(TP=4)。
参考来源
关联 PR:vllm #56462、vllm-xpu-kernels #592、vllm-xpu-kernels #480、vllm #49598
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。

![[Bug]: [Usage]: RTX PRO 5000 (SM120) deadlocks at 3-4W during vLLM 0.32.0 startup with 70B NVFP4 model, even with --enforce-eager](https://www.chat-gpts.plus/wp-content/uploads/2026/10/63536-a00b257b-768x403.jpg)
