一句话看懂：2026 年 10 月 29 日，vLLM 宣布在 Mistral Large 4 发布当天完成 Day 0 支持。这是一个 1 万亿参数、每 token 激活 490 亿的稀疏 MoE 原生多模态模型，vLLM 需要为此改动推理引擎的多个基础模块。
事件核心：发生了什么
Mistral Large 4 采用 72 层 MoE 结构，路由专家 128 个、每 token 选 top-4，另有 1 个共享专家，隐藏维度 6144，总参数约 1 万亿。注意力层用 MLA 加 DSA 稀疏索引器，每个 query 只选 top-2048 个 key；架构上还引入跨层 KV 共享、NoPE 层、SSMax 查询缩放和 LeRoPE 位置编码。多模态由 Pixtral 视觉编码器负责，支持单次请求传入多张图片。
vLLM 提供的支持不只是模型文件：ML4 跑在模型运行器 V2（MRV2）上，支持可打断 CUDA 图，代码放在新的 vllm/models/mistral/ 包中，并顺带改进了 decode/prefill 上下文并行（DCP/PCP）、DSpark 投机解码、基于 NIXL 的 PD 分离部署和 HiSparse 主机内存 KV 卸载。官方 Docker 镜像为 vllm/vllm-openai:mistral-large-4，内含 mistral-common 1.13。
为什么重要
万亿参数级 MoE 加长上下文推理，落地难点在显存和延迟，而不在模型本身。DSpark drafter 在 TP8 下每步接受约 2.9 个 token，输出吞吐约 2 倍；DCP 在 TP8 上把 KV 容量提升约 7.9 倍，PCP+DCP 可把首 token 延迟缩短最多 1.6 倍。这些数字说明，vLLM 正把“前沿开源模型当天可部署”做成基础能力，而非个案适配。
量化方面，NVFP4 checkpoint 在官方列出的多模态、长上下文、编程 Agent、商业自动化和网络安全评测中，与 FP8 相差不超过 2.1 分，平均差 −0.3 分；TP8 下每 token 解码快 1.08–1.19 倍，KV 缓存约多 1.5 倍。需要说明，以上结论限于 vLLM 公布的评测条件与日期。
对用户/开发者/创作者的影响
开发者可用一条 vllm serve 命令启动服务：FP8 需 8 卡，Blackwell 上的 NVFP4 可 4 卡起跑，并内置 tool-call 与 reasoning parser。AMD Instinct MI350 系列也有 Day 0 支持，含 ROCm、DSpark 和 MXFP4 专家并行。对做长文档、多图输入和 Agent 应用的团队来说，部署门槛和量化后的画质/质量取舍是首先要评估的点。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 DCP、PCP、DSpark 这些改进能否稳定回流到其他模型，形成通用收益；二是 NVFP4 的“质量持平”能否在更多第三方评测中复现；三是多节点 PD 分离的实际成本数据是否公开。
