AI科研团队自主发现线性注意力架构,1.3B规模表现超GDN2

一篇 Hugging Face 论文提出用多学科 AI 研究员组成团队,在有限实验预算下自主搜索线性注意力架构,并在 1.3B 参数规模的语言建模与检索任务上超过 GDN2。

一篇 Hugging Face 论文提出用多学科 AI 研究员组成团队,在有限实验预算下自主搜索线性注意力架构,并在 1.3B 参数规模的语言建模与检索任务上超过 GDN2。

Hugging Face Papers 收录的论文摘要显示,研究者提出 AgenticRoboRL,用监督微调结合多轮强化学习来后训练机器人规划器。在 LIBERO-PRO 任务上,9B 参数规划器的成功率从 18.1% 提升到 71.0%,接近闭源 Codex(GPT-5.5)配合外部记忆得到的 72.1%…

2026年10月20日发布于Hugging Face Papers的一篇论文提出“缓存工程”方案,让LLM智能体直接操作KV缓存,而不必裁剪或总结历史轨迹;摘要显示,该方案在部分测试中平均成本降低27.7%,并配套AKV推理引擎实现最高1.5倍P95延迟加速。

Hugging Face Papers 收录的一篇论文提出“未来块预测”(FCP),在教师强制训练之外增加预测时间上相隔片段的辅助目标,声称能以更低训练算力提升自回归视频生成的物理合理性。

Hugging Face Papers 于2026年10月21日收录一篇论文,提出“以记忆为中心的持续学习”(MCCL),主张用未来行动表现而非检索准确率来评价AI Agent的记忆系统。目前仅为摘要信息,未核验全文实验。

Hugging Face Papers 收录的 EAU 论文提出一种让环境、智能体和用户模拟器共同进化的训练框架,在多轮交互任务上把整体得分比最强基线提高 14.7%–15.0%。它值得关注,因为多轮 LLM 智能体训练的信号不稳定问题,终于有人从“改训练系统”而不只是“改奖励函数”入手。

Hugging Face Papers 收录的一篇论文提出 ASAP 框架,在预训练阶段就让基座模型跑端到端智能体任务,而不是等微调成聊天模型后再测,为观察模型的交互行为提供了新视角。

Hugging Face Papers 收录的一篇论文指出,大模型在单次提示里组合多个任务时错误率明显上升,原因可能是模型对每个任务分配的“隐式思考预算”被压缩,而非单纯误差累积。

Hugging Face Papers 收录的论文提出 TEAL 方法,让编码 Agent 在无标签条件下自动积累和迭代数据湖分析工具,从而在有限步骤预算内提升答题表现。它值得关注,是因为这触及了 Agent 从“一次性解题”走向“跨任务复用经验”的工程路径。

Hugging Face Papers 收录的论文 Ask-to-Distill 提出一种无需标准答案、用分布信号评估并生成合成问题的方法,旨在提升在线蒸馏(OPD)的训练效率,值得关注小样本蒸馏路线的开发者留意。