一句话看懂：alphaXiv 于 2026 年 11 月 2 日收录的论文 SpecOPD，提出一种分支并行的在线蒸馏（OPD）框架，用来训练投机解码的草稿模型，摘要称平均接受长度最高提升 41.45%。它值得关注，因为投机解码的提速瓶颈正卡在“每轮能接受多少 token”上。
事件核心：发生了什么
投机解码先用小模型草拟一整块 token，再由大模型并行验证，但最终收益取决于验证通过的接受长度。论文指出，常规在线蒸馏需要顺序采集“草拟—验证”轨迹，效率受限。SpecOPD 的做法是：固定一段参考响应作为共享前缀，在多个锚点并行从当前草稿策略采样新分支，只让每条分支看到自己的历史。
为了一次给多条分支打分，作者把分支打包成提案树，共享参考前缀计算；全注意力用树掩码区分主干、分支与屏蔽位，稀疏注意力用分支一致的索引器分组，线性注意力用带索引的状态回放。训练目标采用直接对应接受长度的 E2E-TV 代理。摘要给出的实验覆盖 8B（GQA）、27B（全线性）和 125B（稀疏线性）目标模型，以及 DFlash、DSpark、DFlash V2 三种草稿架构和对话、代码、数学、Agent 四类任务；在上述配置下，其受监督 token 吞吐相比顺序 rollout 的 OPD 最高提升 16.09 倍，相对自回归解码最高提速 3.56 倍。以上均为论文摘要信息，未见同行评审或产品化说明。
为什么重要
投机解码已被主流推理栈广泛采用，进一步提速的空间越来越依赖草稿模型的质量。SpecOPD 的价值在于把在线蒸馏的监督采集从“串行等待”改为“固定锚点并行分支”，同时不放弃参考数据。它也给稀疏注意力和线性注意力架构提供了配套处理方式，而不只是适用于全注意力模型。对推理成本敏感的大模型服务商来说，这是一种值得跟进训练侧思路；但摘要未披露完整对比基线和消融结果，实际收益仍需看论文细节。
对用户/开发者/创作者的影响
普通用户短期内不会直接感受到变化，因为这是一项训练方法，并非已上线的 API 或功能。对开发者而言，若后续有开源实现，意味着在相同硬件上可能获得更高的生成吞吐，尤其影响长文本对话、代码补全和 Agent 多轮调用等推理密集场景，从而压低单次调用成本。对做本地部署或私有化推理的团队，草稿模型训练效率提升也可能降低自建加速方案的门槛。目前公开信息显示，尚无配套代码或云服务接口的确切消息。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文是否公开完整实验与消融，41.45% 和 3.56 倍在何种基线、何种硬件配置下成立；二是作者是否发布代码或与推理框架（如 vLLM 类项目）集成；三是现有投机解码方案是否会跟进类似的并行监督采集思路。在落地之前，这些数字应视为特定实验条件下的结果，而非行业基准。
来源：alphaXiv
