Google Research 提出 Sleep 框架:让大模型在持续学习中巩固记忆、减少灾难性遗忘

Google Research 在 2026 年 10 月 27 日发布博客,提出在持续学习中引入“睡眠阶段”,让已部署的大模型能周期性把短期上下文固化为长期参数,以减少灾难性遗忘。这属于研究框架,目前公开信息显示尚未作为产品上线。

一句话看懂:Google Research 在 2026 年 10 月 27 日发布博客,提出在持续学习中引入“睡眠阶段”,让已部署的大模型能周期性把短期上下文固化为长期参数,以减少灾难性遗忘。这属于研究框架,目前公开信息显示尚未作为产品上线。

事件核心:发生了什么

Google Research 的研究者 Ali Behrouz 和 Vahab Mirrokni 介绍了名为 Sleep 的持续学习框架。它把模型运行分为“清醒”和“睡眠”两个阶段:清醒时模型正常接收输入,把临时信息存入短期快速记忆;睡眠时停止处理新输入,转而做记忆巩固和自我改进。

巩固阶段依赖参数扩展和混合专家(MoE)结构,把新解锁的低秩专家并入低频长期记忆,再用广义知识蒸馏结合强化学习模仿,把高频短期信息迁移到新参数中,最后重置临时参数。另一部分是“做梦”,即用自生成练习样本更新权重。作者称该框架能让模型持续吸收新事实、保留最长 1000 万 token 的长上下文,并提升复杂推理,但这是论文层面的描述,不是已上线的模型功能。

为什么重要

大模型部署后通常停留在固定知识截止日期,靠上下文学习获得的信息在会话结束后就丢失;直接持续更新参数又容易触发灾难性遗忘。Sleep 框架尝试把训练和推理的边界打通,在不改架构、不改核心代码的前提下,为已部署模型提供一条周期性后训练路径。如果后续验证成立,这会直接影响大模型的更新成本和迭代节奏,也给 MoE、知识蒸馏和持续学习方向提供新的组合思路。

对用户/开发者/创作者的影响

对开发者而言,值得关注的是它把“记忆巩固”做成了可自动运行的离线流程,而不是每次从头微调;对使用 API 的应用来说,若未来落地,可能意味着模型能更稳定地保留业务领域知识,减少重复注入提示。但目前公开信息显示这只是研究框架,作者也强调“睡眠”“做梦”等词借自神经科学,实际仍在固定架构和人工设定规则内运行,不能理解为模型具备自主意识。创作者和企业采购方暂不宜按可用功能做规划。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Google 是否公布更完整的实验设置和评测基准,尤其是 1000 万 token 保留能力在哪些任务上测得;二是该框架能否嵌入 Gemini 等实际模型管线,还是停留在研究博客阶段;三是开源社区和其他厂商是否跟进类似的“周期性巩固”方案。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 30822

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注