一句话看懂:alphaXiv 收录的论文 ReAnchor 提出一种免训练方法,把目标模型验证阶段丢弃的隐藏状态重新用于块扩散草稿模型,在不加训的前提下让投机解码接受更长的 token 序列、端到端解码更快。
事件核心:发生了什么
该论文(据页面信息发布于 2026 年 10 月 19 日)针对投机解码中的块扩散草稿模型:这类模型一次前向生成固定长度的一段草稿 token,速度快,但一旦目标模型在较早位置拒绝某个 token,后面的草稿基本作废,整块被接受时也没有后续草稿可接。ReAnchor 的做法是:目标模型验证时即使第一个拒绝点之后也会算出隐藏状态,通常被直接丢弃;ReAnchor 把这些状态当作新锚点,让同一个预训练草稿模型在偏移位置并行生成草稿块,再按起始 token 与基线草稿对齐拼接,交由目标模型统一验证。整个流程不涉及额外训练。摘要给出的数字是:采样温度 T=0 时,在 Gemma 4-12B 上平均接受长度提升 19.4%,解码速度提升 17.9%;在四个目标模型、八个基准上平均,接受长度提升 15.2%,速度提升 13.4%。
为什么重要
投机解码是当下压低大模型推理成本的主流路线之一,草稿质量直接决定加速效果。ReAnchor 的价值在于挖掘已有验证计算的“副产品”,而不是换更大的草稿模型或增加训练算力,这对推理侧的成本结构更友好。论文还指出,直接让 DFlash 草稿模型生成更长的块(如从 16 扩到 24、32)反而会降低接受长度,说明“复用状态、保持原生块长”的思路有其针对性。
对用户/开发者/创作者的影响
如果该方法后续被推理框架或服务商采纳,普通用户可能感知到的是同类模型响应更快、单位算力可服务的并发更高;对开发者和企业而言,这意味着在不重训草稿模型的前提下优化解码吞吐的可能性。不过目前公开信息显示这只是论文层面的方法,尚无已上线产品或 API 支持,实际收益依赖具体模型组合和负载场景。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是开源推理框架(如 vLLM、SGLang 等生态)是否会跟进实现;二是不同草稿模型与目标模型组合下增益是否稳定,摘要中“并非所有设置都提升”的表述值得留意;三是论文提及的匹配机制在真实负载中的工程开销是否会抵消加速收益。
来源:alphaXiv


