arXiv论文称27B模型可在无梯度下改写自身权重,准确率提升6.6点

arXiv 2026年11月18日发布的一篇摘要提出“自我改写”:27B 大模型仅靠自身推理、不训练、不用梯度,就能修改自己的权重并提升准确率。若实验细节经得起复核,模型迭代可能从“再跑一次训练”变成“再谈一次话”。

一句话看懂:arXiv 2026年11月18日发布的一篇摘要提出“自我改写”:27B 大模型仅靠自身推理、不训练、不用梯度,就能修改自己的权重并提升准确率。若实验细节经得起复核,模型迭代可能从“再跑一次训练”变成“再谈一次话”。

事件核心:发生了什么

论文摘要显示,作者让模型拿到自身权重、评分结果并能运行自己,27B 模型据此诊断失败、直接编辑权重。在事先固定的测试中,其自我编辑在 490 道未见过的问题上准确率提升 6.6 个百分点;另一个会话的编辑同样带来显著改善。前八次自我改写会话中,准确率只升不降。

摘要还给出两个细节:模型只在自身测试支持时才提交编辑,且编辑替代上一次编辑;它能定位并重写被损坏的矩阵,修复后的副本在六个未见过的图像基准上从 7% 升至 70%,达到未损坏模型的 83%。规模效应也明显——同一家族四个尺寸中,2B 不做编辑,4B 和 9B 会把自身改坏,只有 27B 有效。以上均为摘要陈述,全文实验尚未核验。

为什么重要

这套方法绕开了预训练、后训练和推理阶段的额外算力:收益写进权重,每次回答不增加成本,只需一个开放模型和单张 GPU 数小时。对开源模型生态而言,这意味着“模型自我改进”的门槛从训练基础设施降到一次会话,可能改变大模型迭代方式,也会让闭源模型靠训练投入建立的差距面临新变量。

对用户/开发者/创作者的影响

开发者最直接的问题是:能否在自己可部署的开放模型上复现。若成立,小团队不必重建训练管线,就能针对特定任务做权重级修补,尤其是模型损坏恢复这类场景。创作者和普通用户短期内看不到产品化入口,目前公开信息显示这只是论文摘要,不是 API 或可用功能;企业采购也应把它当作技术观察项,而非采购依据。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开完整实验条件、基线对比与失败案例;二是是否有开源社区或厂商跟进复现,尤其是 27B 以下模型为何失效;三是“自测通过才提交”的机制能否被外部审计,防止模型用错误标准自我强化。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注