一句话看懂：alphaXiv 收录的论文《Latent Sparse Attention》提出 LSA 方法，在 GLM-5.3-FLASH 上实现 10M token 超长上下文下，单层注意力预填加速 22.7 倍、解码加速 4.6 倍，同时保持相近精度，为 Agent 长程任务提供更经济的注意力方案。
事件核心：发生了什么
2026 年 10 月 30 日，alphaXiv 收录论文提出 Latent Sparse Attention（LSA）。现有稀疏注意力需先用 indexer 选出部分 key 再计算，但在 10M token 规模下，indexer 本身耗时占单层预填的 98%，且随序列增长呈二次方开销。LSA 将 key 投影到学习到的潜空间并按语义相似度层次聚类，query 只需对簇摘要打分，避免逐一打分全部 key。论文给出两个变体：D-LSA 通过蒸馏适配预训练模型，N-LSA 从零用下一 token 损失训练。实验显示，在 GLM-5.3-FLASH 的 10M token 场景，D-LSA 单层预填比原稀疏注意力快 22.7 倍、解码快 4.6 倍；对比全注意力则分别快 72.4 倍和 42.5 倍。N-LSA 在 128k token 下达到全注意力精度，单层训练提速 1.6 倍。需注意，这些是层级耗时数据，不等于端到端模型速度。
为什么重要
Agent 工作流正走向长周期任务，如开放式科研，对百万级上下文窗口的需求上升。但全注意力在超长上下文下算力成本过高。LSA 把优化重点放在最耗时的“选择”环节，而非单纯让注意力更稀疏，这为超长上下文注意力提供了一条可扩展路线。与按相邻块建金字塔的 PISA 不同，LSA 按语义相似度聚类，簇内 key 可在序列上相隔很远；目前公开信息显示，D-LSA 的评测规模达 10M token，这是评估尺度上的差异，不等同于与 PISA 的受控对比。若方法成立，长上下文推理的算力门槛有望下降，进而影响大模型厂商的长文本产品定价与开源模型的长上下文能力边界。
对用户/开发者/创作者的影响
对普通用户而言，论文若被产品化，未来 AI 应用处理几十篇论文、完整代码库或超长会议记录时，可能更少遇到截断或响应变慢。对开发者，LSA 的 D-LSA 蒸馏路径意味着已有预训练模型可能无需从头训练即可获得长上下文加速，降低适配成本；但摘要未披露具体推理框架、API 或开源计划，目前不能假定可直接调用。对内容创作者和企业采购，超长上下文的推理成本变化将影响 API 价格和长文档类工具的选择，仍需观察实际部署效果。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 D-LSA 能否在真实端到端推理中兑现单层加速，而非仅限层级基准；二是 100M token 的扩展性目前为外推值，实际测量的上限和误差值得跟踪；三是该方法是否被主流开源或闭源模型采纳，以及是否伴随推理框架与 API 支持。
来源：alphaXiv
