vLLM 0.31 加入约束解码，Kimi、DeepSeek 工具调用准确率可达 100%

一句话看懂：vLLM 在 0.31 版本上线了服务端开关，用“约束解码”强制模型按工具 schema 输出，官方博文称 Kimi 和 DeepSeek 新模型在启用后可把工具调用准确率从最低 92% 提升到 100%。

事件核心：发生了什么

据 Ubicloud 2026 年 10 月 26 日发布的博文，该团队用 vLLM 0.28 托管 Kimi K2.6 时，工具调用严格符合 schema 的比例只有 92%，也就是说每 25 次调用约失败 2 次。问题不在于模型“不会用工具”，而在于语言模型按概率逐个生成 token，无法像编译器一样保证输出合法。vLLM 后来增加了对 constrained decoding（约束解码）的支持，并在 0.31 版本中作为服务端 flag 发布；启用后，博文称在较新的 Kimi 和 DeepSeek 模型上可达到 100% schema 准确率。

背景是 Moonshot AI 发布的 K2VV ToolCall 评测，包含 2000 个请求，用触发相似度和 schema 准确率衡量服务商是否还原官方质量。工具 schema 规定了函数名、参数和类型等约束，不符合 schema 的调用会被 agent 框架直接拒绝。

为什么重要

工具调用是开源模型落地 agent 工作流的关键环节。一次格式错误不仅浪费一次请求，还会把错误信息写进上下文，污染后续多轮对话，导致重试成本上升、结果质量下降。对提供模型推理服务的厂商来说，能否稳定给出合法工具调用，正在成为与模型本身质量同等重要的竞争点。约束解码把“概率生成”限制在合法 token 范围内，相当于在推理层补上了确定性的护栏，也把问题从提示词工程转移到了推理引擎的能力上。

对用户/开发者/创作者的影响

开发者如果通过 vLLM 自托管 Kimi、DeepSeek 等模型，可以检查服务版本并开启该开关，尤其适合多轮 agent、自动化任务编排等场景；若使用第三方 API，则需要看服务商是否已支持类似能力，不能默认“模型 benchmark 好，工具调用就一定准”。使用 OpenCode 等 agent 工具的用户，可能仍会遇到调用失败或重试，具体体验取决于所接入的推理服务。企业选型时，建议把 schema 准确率和触发一致性纳入验证指标，而不仅看通用评测分数。