一句话看懂:研究者提出投机解码方法 ReaDy,利用混合线性注意力模型的循环状态为每个草稿位置检索补充上下文。论文摘要称,在 Qwen3.8-27B 上单卡 B200 平均取得约 3.16 倍解码加速。
事件核心:发生了什么
2026 年 10 月 14 日,Hugging Face Papers 收录了论文 ReaDy。该论文聚焦投机解码(speculative decoding):传统做法每一步先草拟多个 token,但基于特征的草稿器依赖目标模型隐藏特征,这些特征的上下文侧重未必匹配后续草稿位置的需要。
ReaDy 转向混合线性注意力(HLA)模型内部的紧凑循环状态,其为每个草稿位置学习一个查询,从目标模型已提交的循环状态中检索补充上下文,再由轻量状态读取器通过残差更新注入草稿表示。为控制开销,方法采用低秩状态读取和融合算子,并在 DSpark 的并行骨干与顺序预测头上做两阶段轻量适配。摘要称,在数学、代码生成和对话共七个基准上,ReaDy 相对自回归解码平均加速 3.16 倍,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%。代码已在 GitHub 公开。
为什么重要
投机解码已是降低大模型推理延迟的常用手段,但仍面临草稿质量与额外计算之间的取舍。ReaDy 的思路是把 HLA 模型本就维护的历史关联状态“二次利用”,在不显著增加 I/O 的前提下提供位置相关的上下文。这为线性注意力架构与投机解码的结合提供了新方向,也说明推理优化正从单纯堆算力转向挖掘模型内部状态。
对用户/开发者/创作者的影响
对开发者而言,ReaDy 建立在现有 DSpark 草稿架构上,采用轻量适配而非重训,若后续工程化顺利,可能降低长文本生成和代码补全场景的响应延迟。但需注意:目前公开信息仅为论文摘要,实验基于 Qwen3.8-27B 与单张 NVIDIA B200,尚未核验全文实验细节,也未证明已在生产环境或闭源 API 中可用。创作者和企业采购方短期内不宜据此调整选型,可将其视为推理效率方向的技术储备。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 GitHub 代码是否提供可复现的完整训练与推理脚本;二是该方法能否迁移到更多 HLA 模型及非 HLA 架构;三是是否有推理框架或云厂商跟进集成,以及实际部署中的显存与吞吐表现。


