一句话看懂：腾讯技术工程公众号发布约3万字长文，系统梳理线性注意力机制从DeltaNet、GDN到Kimi Delta Attention（KDA）的演进路线，并解释其如何缓解长上下文推理中的KVCache显存与带宽压力。
事件核心：发生了什么
2026年10月29日，腾讯技术工程公众号刊发作者binnnliu的长文《AI Infra进阶：3万字深入理解线性注意力机制》。文章聚焦大模型推理的Prefill与Decode两阶段差异，指出在百万级上下文场景下，KVCache显存随上下文线性增长、每次Decode需重复读取历史KV、计算量随之线性增长是三大瓶颈。素材提到，国内一线开源模型中，除DeepSeek和Tencent Hy外，多采用线性注意力与Full/Sparse Attention混合架构，这也构成作者深入拆解线性注意力的动机。
为什么重要
文章把线性注意力的本质归纳为用固定大小的状态矩阵压缩历史上下文，从而在Decode阶段以O(1)级别的显存和读取完成输出，但其容量固定意味着新信息会冲刷旧信息。作者将状态更新机制的演进视为关键，从DeltaNet、GDN到KDA逐步讨论遗忘门与残差写入的设计取舍。值得注意的是，文章明确区分了两个层面：模型层的门控设计属于基于假设的实验科学，而Infra层要把非线性RNN门控严格推导为仿射变换与下三角矩阵求解，才能兼顾表达能力和Chunk-wise并行吞吐。
对用户/开发者/创作者的影响
对开发者而言，这篇长文更像是一份架构取舍的参考材料：线性注意力并非免费午餐，它用固定状态换取低访存成本，代价是历史信息的不可逆压缩。做长上下文Agent、检索增强或端侧推理的团队，可以据此评估混合注意力架构在显存带宽与吞吐上的实际收益。对普通用户，这类底层优化短期不会改变产品形态，但会影响长文档处理、多轮对话的成本与响应速度。目前公开信息显示，文章为技术转载与解读，未附带可复现的基准测试结果，读者不宜将其视为某一模型的性能排名。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是KDA等门控线性注意力是否会在后续开源模型中得到更多采用，并出现公开的对照评测；二是线性注意力与稀疏注意力、压缩注意力混合时，长上下文任务的质量衰减是否有可量化数据；三是Tencent Hy等已采用混合架构的模型，后续是否披露推理成本与吞吐的具体变化。
