AI科研团队自主发现线性注意力架构，1.3B规模表现超GDN2

一句话看懂：一篇 Hugging Face 论文提出用多学科 AI 研究员组成团队，在有限实验预算下自主搜索线性注意力架构，并在 1.3B 参数规模的语言建模与检索任务上超过 GDN2。

事件核心：发生了什么

据 Hugging Face Papers 收录的论文摘要（发布于 2026 年 10 月 20 日），研究团队构建了一组“持久化 AI 研究员”：每个智能体拥有不同的学科背景、私有的研究历史，并通过自适应分配机制共享实验证据、竞争有限的研究机会。团队被用于搜索线性注意力架构，在 1.3B 参数规模的语言建模、常识推理以及合成与真实检索任务上，表现优于 GDN2。摘要还提到，受控对比中移除任一组织组件都会导致发现质量明显下降：去掉学科背景，搜索会较早停滞；去掉私有历史，即使共享证据相同，进展也更少；统一选拔不如自适应分配。

为什么重要

此前自动科研多以单个智能体为主，容易陷入局部最优。这项工作把“团队协作”拆成三个可检验的变量——谁去探索、记住什么、研究资源怎么分配——并给出初步证据，说明多智能体组织方式本身可能成为提升自动发现效率的变量，而不仅仅是依赖更强的基座模型。对注意力机制这类需要大量试错的架构搜索而言，如果方法能推广，有望降低对算力和人工迭代的依赖，但目前公开信息仅来自论文摘要，尚未核验全文实验细节与同行评审情况。

对用户/开发者/创作者的影响

对开发者和模型团队来说，更值得关注的是方法论而非即时产品：多智能体分工、私有记忆与预算分配机制，可能被借鉴到自动调参、架构搜索和实验管理工具中。如果线性注意力架构的搜索成果后续开源，推理效率敏感的端侧或长上下文应用可能受益；但摘要中的对比仅限特定任务与规模，不能理解为线性注意力已全面胜出。普通用户短期内不会直接感知变化。