标签： LLM

报错为 no kernel image is available for execution on the device ，通常发生在本机编译 vLLM 时： TORCH_CUDA_ARCH_LIST 同时包含 10.0 和 10.0a ， cuda_archs_loose_intersection

该报错通常出现在使用 vLLM 启动 DeepSeek V4 系列模型（并开启 MTP 投机解码、mHC、Sparse MLA 等特性）后，推理过程中首次请求触发 TileLang/Triton kernel 现场编译，表现为日志中出现 "TileLang begins to compile ker

这篇 Issue 是 vLLM 的季度路线图（[Roadmap] vLLM Roadmap Q3 2026），本身不包含具体的运行报错或复现环境；它讨论的是 Q3 各 SIG 的目标，以及与 ROCm、量化、KV Offloading、Elastic EP 等方向相关的后续工作。该 Issue 已被

该报错出现在 Blackwell 架构（如 RTX PRO 6000、RTX 5070Ti）上使用 vLLM 加载 Qwen2.5-VL 系列模型时，模型权重加载完成后、初始化视觉编码器缓存阶段。优先排查 vLLM 与 PyTorch 是否包含该 SM 版本（如 SM120）的预编译算子支持，尤其是

这是在 Vulkan 后端、多 GPU（Vulkan0,Vulkan1）+ --cpu-moe 运行多专家（MoE）模型时出现的提示处理/预填充性能回退：升级到包含提交 e0bcaccb 的构建后，prefill 从大约 95 tk/s 降到大约 4 tk/s，两块 GPU 的占用都上不去。优先排查

当 Vulkan 后端同时枚举到多个 GPU、并使用大上下文（如 -c 196608）配合投机解码（ngram-map / draft-mtp）时，自 e0bcacc 起 decode 吞吐量可能下降约 3 倍，而 draft 接受率不变。优先确认是否处于多 Vulkan 设备可见状态，以及构建是否