EngramEdit 让大模型条件记忆可编辑,事实更新接近全对

10 月 7 日 alphaXiv 收录的论文提出 EngramEdit,把 DeepSeek 式条件记忆从扩容工具变成可单独写入事实的知识接口,在不改动 Transformer 主干的情况下完成事实更新。

一句话看懂:10 月 7 日 alphaXiv 收录的论文提出 EngramEdit,把 DeepSeek 式条件记忆从扩容工具变成可单独写入事实的知识接口,在不改动 Transformer 主干的情况下完成事实更新。

事件核心:发生了什么

论文针对条件记忆架构中的 n-gram 嵌入查找机制,提出 EngramEdit 方法:对同一事实生成多种表达,定位它们共享的 n-gram 向量,再联合求解一组叠加更新,并对高频或短 n-gram 施加更强惩罚,以减少对无关知识的改写。实验基于 LongCat-Flash-Lite,在 CounterFact 上做 2000 次顺序编辑后,泛化准确率 97.0%,对比直接微调记忆的 90.7%;编辑成功率 99.5%,无关查询表现 85.2%。在 3000 个 MQuAKE 多跳案例中,配合 CoT 提示,报告称准确率约为最强基线的三倍。需要说明,这些结果来自论文页面摘要,尚未确认同行评审状态。

为什么重要

大模型的事实更新长期依赖重训、微调或 RAG,成本和副作用都高。EngramEdit 的意义在于把“事实存储”与“通用计算”进一步解耦:主干不变,只改条件记忆里的少量向量。如果这类方法稳定,企业可以更低成本地修正模型输出,而不必动辄重新训练基座。对闭源模型和开源权重模型,都意味着一条“补丁式”知识维护路线。

对用户/开发者/创作者的影响

开发者可关注是否出现类似 API 或开源实现,用于局部修正模型事实;RAG 系统可能把一部分“稳定事实”迁移到可编辑记忆层;内容创作者和知识库团队则可能获得更精准的模型纠正手段。但当前仍是论文方法,尚无产品化接口,不能视为已上线能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是是否开源或集成到 DeepSeek、LongCat 等模型生态;二是多跳推理和长尾事实上的持续编辑稳定性;三是大规模顺序编辑后是否出现性能退化或知识串扰。目前公开信息显示,评测限于特定模型、基准和编辑规模,不能外推为永久排名。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 28413

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注