一句话看懂：一篇发表于 alphaXiv 的论文用可控小模型测试 vLLM 和 SGLang，发现推测解码在服务器正常运行的情况下出现 7 处实现缺陷，导致输出概率分布不再等同于目标模型。这说明“无损加速”的数学承诺没坏，坏的是工程落地。
事件核心：发生了什么
推测解码的原理是用小模型草拟多个 token，再由大模型并行验证，理论上应保持与普通解码完全一致的概率分布，只是速度更快。论文作者给 vLLM 和 SGLang 加载了固定概率的查表式 Llama 格式小模型，让每个输出都可与预先算好的目标分布比对。
结果在 SGLang 发现 1 处、vLLM 发现 6 处缺陷。例如 SGLang 的 NGRAM 草稿树中未填充分支被 token 0（“!”）填充，使“!”出现频率约为应有的 11 倍（0.538 对 0.049）；vLLM 则存在把目标 logits 截断到草稿词表、按错误步长读取草稿概率缓冲、拒绝后复用随机数等问题。作者提交最小复现脚本后，24 小时内 7 个修复 PR 全部打开，其中 5 个来自社区贡献者。
为什么重要
推测解码是降低大模型推理成本的主流手段，vLLM 和 SGLang 又是开源推理栈中被广泛部署的两个引擎。“输出分布一致”通常是开发者敢于开启该功能的前提，如今暴露出的是实现层面的条件没有被完全满足，涉及随机数、停止条件、语法约束和词表对齐等细节。对依赖推理服务的团队而言，这意味着性能优化与输出正确性需要在工程上分开验证。
对用户/开发者/创作者的影响
使用托管 API 的普通用户很难感知这类偏差，但自建推理服务的开发者应关注所用引擎版本是否包含上述修复，尤其是启用 EAGLE、NGRAM 草稿、思考预算或语法约束的场景。对内容创作者和 AI 应用团队来说，偏差更多表现为偶发的 token 频率异常、停止条件失准或特定词被系统性抑制，而不是整体质量崩塌。目前公开信息显示问题来自实现缺陷，不是推测解码方法本身失效。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 7 个修复 PR 的合并与版本发布节奏；二是论文测试仅覆盖固定概率小模型和特定配置，真实大模型上的影响幅度仍待评估；三是其他推理引擎是否做同类分布一致性检查。
来源：alphaXiv
