REMORY 用残差记忆压缩上下文,长任务智能体减少工具重复调用

论文提出 REMORY 神经记忆网络,在文本摘要后追加少量软记忆 token,让冻结的大模型在压缩历史的情况下更接近全上下文的表现,长任务智能体的工具重复输出和报错同步减少。

一句话看懂:论文提出 REMORY 神经记忆网络,在文本摘要后追加少量软记忆 token,让冻结的大模型在压缩历史的情况下更接近全上下文的表现,长任务智能体的工具重复输出和报错同步减少。

事件核心:发生了什么

2026 年 10 月 8 日,Hugging Face Papers 收录论文《REMORY: Learning Residual Memory for Context Compaction》。论文针对长周期智能体的一个常见问题:上下文窗口有限,历史必须被压缩成文本摘要,但摘要未必能支撑后续每一次决策。REMORY 的做法是在摘要之后追加一段有长度上限的软记忆 token,这些 token 由网络根据历史与摘要生成,条件挂在摘要上,形式上类似序列维度上的残差连接。

训练目标不是让模型重新学会完整历史,而是让冻结的大模型输出更接近它在全历史条件下会产生的续写。论文给出的数据包括:在 SummHay 任务上,REMORY 在洞察覆盖率几乎不变的情况下改善了来源归因,仅用 5.2% 的输入位置就接近全上下文的联合得分;在长周期智能体评测中,Qwen3.8-27B 与 GLM-5.3-Flash 在使用残差记忆后取得一致提升,并在 BrowseComp 和 Terminal-Bench 2.1 上出现更少的重复工具输出和工具错误。需要说明的是,以上均为论文摘要信息,尚未核验全文实验与同行评审状态。

为什么重要

长周期智能体正从演示走向实际任务,上下文压缩直接关系到成本、延迟和可靠性。主流方案依赖文本摘要,但摘要是有损的,模型在后续步骤中容易丢失关键约束,表现为反复调用同一工具或触发工具错误。REMORY 把压缩从纯文本层面扩展到可训练的记忆 token,相当于给摘要加了一层可学习的补偿机制,同时保持下游大模型冻结,训练和推理成本更可控。

如果这一路线成立,它对开源与闭源模型的上下文管理都有参考价值:模型本身不必重新训练,记忆网络可以按任务或按智能体单独适配。长任务智能体的稳定性提升,也可能影响 AI 应用在浏览器操作、终端操作等场景的可用性边界。

对用户/开发者/创作者的影响

对开发者而言,REMORY 的接口形态值得注意:它不修改冻结大模型的权重,而是在摘要后拼接软 token,这意味着工程上可能以中间层或适配器的方式接入现有推理链路。若后续开源实现落地,智能体框架可以在不更换基座模型的情况下改善长会话与多步任务表现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对企业采购和 AI 应用团队来说,评测中的 5.2% 输入位置是一个有吸引力的成本信号,但目前公开信息仅来自论文摘要,缺少不同任务分布、不同基座模型和真实生产流量的验证。创作者侧的直接变化有限,但如果智能体在浏览器和终端任务中更少重复、更少报错,自动化内容采集与处理流程的体验会间接受益。

值得关注的后续

第一,REMORY 是否开源、是否提供可复现的训练与推理代码,以及软记忆 token 的长度上限如何影响显存与延迟。第二,Qwen3.8-27B 与 GLM-5.3-Flash 之外,其他开源和闭源模型能否复现一致增益。第三,BrowseComp 与 Terminal-Bench 2.1 上的工具错误下降是否能在更多智能体基准和真实产品环境中保持。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 28811

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注