一句话看懂：alphaXiv 收录的论文 SinkState 提出用自适应低秩 SVD 表示混合大模型的循环状态，在 4B 到 120B 规模的四个模型上把循环状态峰值内存最多降低 2.6 倍、解码最多提速 1.58 倍，同时保持精度。这为长上下文推理服务降低显存和解码开销提供了一条新路径。
事件核心：发生了什么
根据论文摘要，SinkState 针对的是把 softmax 注意力与线性注意力结合的混合模型。线性注意力层会把历史压缩进固定大小的循环状态矩阵，但现有推理系统始终以稠密形式存储这些状态，每生成一个 token 都要完整读取并重写，内存流量随批大小增长，成为解码成本的主要来源。作者发现，线性层的查询、键、值集中在稳定的低维子空间，他们称之为“线性注意力汇”，因此每个状态实际上都是低秩的，且秩随状态变化。SinkState 在推理全程以自适应低秩形式保存状态，只对活跃的主成分和缓冲的新 token 更新做局部 SVD，冻结其余成分并异步放到 CPU 上合并。实测基于 Mamba-2 和 GDN 层的四个模型（4B 至 120B），相比 Mamba-SSM 和 FLA，循环状态峰值内存最多降低 2.6 倍（平均 1.9 倍），解码最多提速 1.58 倍（平均 1.25 倍），精度没有一致下降。需要说明，以上信息来自论文摘要，并非已上线产品，也未提及是否经过同行评审。
为什么重要
混合模型的卖点之一是用固定大小的循环状态替代不断增长的注意力缓存，但“固定大小”并不等于没有成本。SinkState 说明，这部分状态本身存在可压缩空间，压缩后可以直接减少解码阶段的数据搬运，而不必改动模型结构或重新训练。如果方法在更多模型和真实服务场景中站得住，它可能影响推理框架和 GPU 显存预算的分配方式，对做大模型推理优化、长上下文服务的团队有参考价值。不过目前公开信息仅覆盖论文所述的四款模型和实验设置，尚不能视为通用结论。
对用户/开发者/创作者的影响
对推理框架和 API 服务开发者而言，这类工作提示解码瓶颈可能更多来自显存读写而非算力，压低循环状态的内存占用有望提高单卡吞吐或支持更大批处理。对使用混合架构模型的应用团队，如果后续有开源实现或集成到 vLLM 等推理栈，长上下文场景的响应速度与部署成本可能改善。对普通用户和创作者，短期内更直接的变化可能是服务端成本下降带来的价格或延迟优化，而不是使用方式改变。论文中的速度与内存数字只在给定任务和基线对比下成立，不宜外推为所有场景的固定收益。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该方法是否会进入主流推理框架或开源实现，以及是否覆盖更多混合架构模型；二是低秩近似在更长上下文、更大批量和不同任务上的精度表现是否稳定；三是 CPU 异步合并带来的额外开销在真实并发服务中的影响，以及竞品推理系统是否跟进类似的状态压缩思路。
来源：alphaXiv
