一句话看懂:研究机构 Constructor AGI 公布了持续学习方向的第一阶段研究,提出名为 Link 的稀疏注意力机制,让大模型在超长上下文中自行选择读哪些内容;在 400 万 token 语境下的检索任务中,其准确率比稠密注意力高 53%。
事件核心:发生了什么
根据 Michael Gao(@michaeltgao)2026 年 11 月 18 日发布的推文,Constructor AGI 分享了第一阶段研究成果,目标是解决持续学习问题,让模型能直接从经验中学习。作者用人类的阅读方式作对比:人不会反复重读全部上下文,而是随经验积累逐渐学会抓住关键信息。
其研究产出一个名为 Link 的注意力机制,被描述为“可学习的稀疏读取”——模型不再对全部上下文做稠密注意力计算,而是自行决定读哪些部分。推文给出的数据是:在 400 万 token 的上下文长度下,Link 的检索准确率比稠密注意力高出 53%,GPU 效率提升 9.9 倍。需要说明的是,以上均来自作者本人在社交平台的表述,目前公开信息仅为摘要性质,尚不能视为已上线产品或经过同行评审的结论。
为什么重要
超长上下文是大模型近两年的主要竞争方向之一,但上下文越长,稠密注意力的算力开销增长越快,成本和延迟都很难控制。Link 的思路是让注意力“带上意图”,只读取真正相关的部分,这实质上是在重新分配长上下文场景下的算力。如果这一方向成立,长文档处理、代码库理解和超长对话等应用的推理成本结构可能被改写。
更重要的是,Constructor AGI 把这项工作放在“持续学习”的框架下:模型不是每次重读全部历史,而是从经验中学会该看哪里。这与当前主流大模型依赖固定上下文窗口的路线不同,属于对训练与推理范式的探索,而不是简单的窗口扩容。
对用户/开发者/创作者的影响
对开发者而言,Link 若被验证并可复现,最有价值的场景是超长上下文检索与理解,例如在海量日志、合同、代码仓库中定位信息。9.9 倍 GPU 效率意味着同样的算力预算可能支撑更长的输入,API 的按 token 计费逻辑也可能随之调整,不过目前这些都还只是研究层面的信号。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
对普通用户和创作者来说,短期不会有直接可用的功能变化;它更多影响未来产品在“记住大量内容并从中提取要点”上的体验上限。企业采购方则应关注其是否开源、是否有可复现的评测基准,而不是仅凭推文数据做技术选型。
值得关注的后续
一是研究细节与评测条件的完整披露:53% 和 9.9 倍的对比基线、任务设置目前只有摘要级信息,需等待论文或技术报告确认。二是工程落地:Link 是否集成到实际模型或对外开放 API,以及在 400 万 token 以下长度是否仍有收益。三是社区与竞品反应:长上下文注意力优化已有多个研究方向,Constructor AGI 的路线能否被复现和跟进,将决定它的实际影响力。
来源:@michaeltgao


