循环LM动态计算新突破：KV缓存策略最高省30%算力

事件核心：发生了什么

2026 年 10 月 8 日发布于 arXiv cs.AI 的论文《Enabling Dynamic Computation in Looped LMs》（arXiv:2610.09013v1）指出，循环语言模型虽然参数高效、理论上能根据 token 难度动态决定计算深度，但当前有代表性的开源 Ouro 模型并未真正实现这一能力。原因是每一次循环（即每一层深度）都需要维护自己的 KV 缓存，导致所有循环计算必须全部执行，无法在简单 token 上跳过。

论文同时指出，Ouro 的 early-exit 先验对每个 token 一视同仁，结果所有 token 都以同样的较低深度处理，难以体现“按难度分配算力”的初衷。作者提出一种开箱即用的“best-available”KV 缓存策略，在性能与深度之间打开新的折中空间：最高减少 30% 的 FLOPs 与 KV 内存，同时保持满深度性能。此外，若在训练循环 LM 时就纳入对该 KV 缓存策略的感知，还能同时改善性能与效率；作者也对 early-exit 先验的约束目标做了小幅修正，让 token 能依据实际“努力”在不同深度退出。上述结论在 Ouro 模型与从头预训练的较小循环 LM 上得到验证。

为什么重要

循环 LM 被看好的核心卖点之一，就是用更少参数换取更大有效深度，并通过动态计算节省推理算力。但如果 KV 缓存机制不匹配，动态计算就只能停留在训练阶段的设计目标，实际部署依然要跑满所有循环。这篇论文的价值在于，它把“深度灵活性”从架构承诺推进到可执行的缓存策略层面，直接涉及大模型推理成本中最关键的两项指标：FLOPs 和 KV 内存。

目前公开信息显示，该工作仍属于论文阶段，尚未表明已集成到某个开源产品、云 API 或商业服务中。它是否会改变现有开源与闭源模型在推理效率上的竞争格局，还要看后续复现与工程落地情况。

对用户/开发者/创作者的影响

对开发者和推理服务提供方而言，这项研究提示了一个具体方向：在循环或类似深度可变的 LM 架构上，KV 缓存管理策略可能比单纯堆参数更能影响实际算力开销。若 30% 的节省在更多模型和真实任务上可复现，边缘设备、长上下文服务以及按 token 计费的 API 成本结构都可能受益。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对使用大模型进行内容创作或应用开发的用户来说，短期影响偏间接：它不直接改变现有闭源大模型的使用体验，但可能推动开源循环 LM 在相同硬件上跑得更快、更省显存。论文也提到用该策略感知训练能提升效率，这意味着未来若被主流训练框架采纳，开发者有机会在模型训练阶段就获得更好的性能—成本平衡。

值得关注的后续

第一，看 Ouro 模型的官方或社区实现是否跟进这一 KV 缓存策略，以及能否在真实推理服务中复现 30% 的 FLOPs 与内存节省。第二，看该“best-available”缓存是否会被其他循环 LM 或非循环的深度可变架构借鉴，形成更通用的推理优化组件。第三，看 early-exit 先验的修正目标是否在更多模型规模上稳定，避免只在小模型上有效。以上观察点均需等待后续论文全文、代码发布或独立复现来验证。

来源：arXiv cs.AI