一句话看懂:arXiv 新论文 ChainFlow 将投机解码的草稿阶段改为基于目标模型隐藏状态的少步流匹配,在 Qwen3.5 上报告比 EAGLE-3 和 DFlash 更快,值得关注的是它试图同时解决自回归草稿“慢”与扩散草稿“忽略词间依赖”的两难。
事件核心:发生了什么
2026 年 11 月 9 日,arXiv cs.AI 收录论文 ChainFlow,作者提出一种新的投机解码范式:草稿器不再逐 token 自回归生成,也不从噪声做多步去噪,而是把“起草”视为在目标模型隐藏状态上的短程传输,只需一到两步流匹配。配套设计包括:用变分自编码器压缩隐藏状态,使草稿成本几乎不随目标模型规模增长;用轻量反馈头恢复 token 间依赖;用树形草稿提高接受率。摘要称,在同等草稿器规模和训练数据下,Qwen3.5 模型在 vLLM 中较 EAGLE-3 快 39%、较 DFlash 快 11%,顺序适配新语言时优势进一步扩大。代码与草稿器模型将开源。以上均为论文摘要信息,尚未经全文实验核验。
为什么重要
投机解码已是加速大模型推理的常用手段,但草稿器长期存在路线取舍:自回归草稿质量好却随草稿长度线性变慢,扩散草稿并行快却按位置独立预测、丢失上下文依赖。ChainFlow 的价值在于把草稿成本与目标模型规模解耦,并尝试在少步条件下补回词间关系。若结论在更大模型和真实服务负载下成立,推理侧算力效率与单位 token 成本可能受益,对开源推理栈 vLLM 生态也是一次直接竞争。
对用户/开发者/创作者的影响
对开发者而言,最直接的是 vLLM 部署选项可能多一个草稿器候选,尤其适合需要低延迟、长草稿的场景;隐藏状态压缩思路也降低了为大模型配草稿器的显存压力。对普通用户和创作者,这类改进通常体现为 AI 应用响应更快、推理费用更低,但前提是框架集成与模型权重真正落地。目前公开信息显示,效果仅在摘要所述 Qwen3.5、匹配规模与数据条件下报告,不能外推为通用排名。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是代码和草稿器模型开源后,社区能否在 vLLM 之外复现 39% 与 11% 的差距;二是顺序适配多语言时优势扩大的说法,是否伴随灾难性遗忘或额外训练成本;三是并发服务与不同目标模型规模下的表现,决定它能否进入生产推理链路。
来源:arXiv cs.AI


