循环语言模型推理加速新策略:Late Entry 让新令牌直入深层缓存,Ouro-2.6B 上最高提速 6.8 倍

Hugging Face Papers 上出现一篇关于循环语言模型解码的论文,提出让新令牌跳过前几轮迭代、直接进入深层上下文缓存的 Late Entry 策略,配合 Wake 验证,在 Ouro-2.6B 上报告了最高 6.8 倍的贪心精确推理加速。

一句话看懂:Hugging Face Papers 上出现一篇关于循环语言模型解码的论文,提出让新令牌跳过前几轮迭代、直接进入深层上下文缓存的 Late Entry 策略,配合 Wake 验证,在 Ouro-2.6B 上报告了最高 6.8 倍的贪心精确推理加速。

事件核心:发生了什么

循环语言模型(Looped LM)通过让共享层堆栈对每个令牌迭代 T 次来加深推理,代价是顺序解码延迟变长。常规早退策略在初始几轮后停止,但缓存中的键值状态较浅。这篇论文反过来研究“晚进入”:新令牌跳过前几轮,直接进入最后 K 轮,并依赖已完成深轮次的上下文缓存。作者称,经过轻量微调解决入口处隐藏状态范数不匹配后,晚进入在多个模型家族和预算下优于匹配的早退。论文在 Ouro-2.6B(T=4)上实测,K=2 的 Wake 在 tau=0 时达到 5.2 倍贪心精确加速,tau=inf 时为 6.8 倍;在 Huginn-3.5B 上,T=64 时提速达 8.4 倍和 12.5 倍。以上均来自论文摘要,全文实验尚未核验。

为什么重要

循环结构被视为在不显著增加参数量的前提下提升大模型推理能力的路线之一,但推理延迟一直是落地瓶颈。如果晚进入与 Wake 验证能在不牺牲输出精确性的条件下兑现,会直接改善长链推理场景的吞吐和成本。目前这仍是论文层面的方法,是否稳定、是否适用于更大模型和更多任务,需要更多独立复现。

对用户/开发者/创作者的影响

对开发者和推理服务提供方,这类方法若被集成进推理框架,可能降低循环语言模型的单次调用成本,使长上下文和复杂推理任务更实用。对普通用户,短期不会有直接产品变化;若开源社区跟进实现,端侧或私有部署的循环模型有机会在同等算力下获得更低延迟。创作者使用 AI 应用时,是否能感知差异取决于上层产品是否采用该技术。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整实验与代码,尤其是 tau=0 下与块解码结果完全一致的复现情况;二是是否有推理框架或开源模型仓库采纳晚进入策略;三是更大参数模型和真实业务负载下的加速比是否仍然成立。目前公开信息显示,这些效果仅限摘要所述模型和评测条件。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注