BeNice! 让循环模型共享 KV 缓存，长上下文推理吞吐提升 23.6%

事件核心：发生了什么

循环架构通过反复经过同一组层来扩展模型质量、保持参数量不变，但推理时每次递归都会生成独立的 KV 缓存，显存占用随循环深度线性增长。该论文先分析“KV-shareability”（不同深度共享缓存的可行性）的成因，再提出两阶段方案：预训练阶段引入随机深度，使表示在多次递归中趋向共同极限；后训练阶段 BeNice! 把最终循环的 KV 缓存广播到第一次循环，训练其产生兼容的残差，同时保持原模型质量。论文摘要显示，在模拟低内存、长上下文推理中，KV 共享让缓存命中率提升至多 31.4%，吞吐提升至多 23.6%，p90 首 token 等待时间降低至多 83.6%。需要说明：这些结果来自模拟服务环境，并非通用延迟承诺；目前公开信息显示该方法尚未作为产品上线。

为什么重要

长上下文推理的瓶颈之一就是 KV 缓存挤占 GPU 显存，循环模型更是放大了这一问题。BeNice! 如果成立，意味着可以在不增大显存的前提下支撑更长上下文和更多并发，这对推理成本和算力效率有直接意义。论文还称 KV 共享可与其他 KV 压缩手段叠加，例如多潜在注意力、Kimi delta attention 以及 fp8、mxfp8、nvfp4 低精度量化，可能成为长上下文服务端优化的一项补充技术。

对用户/开发者/创作者的影响

对普通用户，长上下文应用响应更快、首 token 等待更短，但要等推理框架或云服务真正采用后才会体现。对开发者和模型团队，值得关注随机深度预训练与后训练对齐的组合，它给出了“共享缓存但保留质量”的可操作路径，不过前提是模型本身满足收缩残差等假设。对部署方，KV 共享可与现有量化、注意力优化组合，可能降低单位请求显存占用，从而提高单卡并发。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是论文能否在更多模型规模上复现，摘要提到 140M 到 1.3B 的检查点表现并不一致；二是是否有推理框架或开源模型集成 KV 共享，并公开真实服务数据；三是与量化、MLA 等方案的组合效果是否在真实负载中仍然成立。

来源：alphaXiv