标签: Python

[Roadmap] vLLM Roadmap Q3 2026

[Roadmap] vLLM Roadmap Q3 2026

这篇 Issue 是 vLLM 的季度路线图([Roadmap] vLLM Roadmap Q3 2026),本身不包含具体的运行报错或复现环境;它讨论的是 Q3 各 SIG 的目标,以及与 ROCm、量化、KV Offloading、Elastic EP 等方向相关的后续工作。该 Issue 已被

No module named ‘libtpu’

No module named 'libtpu'

该报错出现在 Blackwell 架构(如 RTX PRO 6000、RTX 5070Ti)上使用 vLLM 加载 Qwen2.5-VL 系列模型时,模型权重加载完成后、初始化视觉编码器缓存阶段。优先排查 vLLM 与 PyTorch 是否包含该 SM 版本(如 SM120)的预编译算子支持,尤其是

[RFC]: Model customized KVCache Planning

[RFC]: Model customized KVCache Planning

这属于 vLLM 的 RFC/设计讨论,不是普通的运行时报错。核心议题是 [RFC]: Model customized KVCache Planning,也就是把 KV Cache 的分组与规划从核心层下放到模型层,以适配 DeepSeek-V4 这类包含多种 Attention 类型的模型。优先