MIT 用 GPT-6 Astra 直接改写 Qwen 权重,MATH-500 成绩提升约六倍

MIT CSAIL 团队用 GPT-6 Astra 直接修改开源小模型 Qwen3.5-0.8B 的权重,在 MATH-500 上把成绩从 7.9% 提升到 48.1%,只动了约 0.016% 的参数,未走常规训练流程。

一句话看懂:MIT CSAIL 团队用 GPT-6 Astra 直接修改开源小模型 Qwen3.5-0.8B 的权重,在 MATH-500 上把成绩从 7.9% 提升到 48.1%,只动了约 0.016% 的参数,未走常规训练流程。

事件核心:发生了什么

据 Slashdot 引述 VentureBeat 的报道,MIT 计算机科学与人工智能实验室(CSAIL)的研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 在 11 月 2 日发布的研究博客中介绍了这一方法,称之为“weight-space programming”(权重空间编程)。其做法是让 GPT-6 Astra 解读并直接改写 Qwen3.5-0.8B 的权重数值,而不是通过传统训练生成改动。在公开信息给出的最强案例中,MATH-500 得分由 7.9% 升至 48.1%,同时被修改的权重占比约 0.016%。作者称,提升主要来自纠正模型重复推理的问题。

为什么重要

这条路线把大模型从“被调用者”变成“网络修理工”:用一个能力更强的闭源模型去检查、修复甚至构造另一个神经网络。相比蒸馏和微调,它绕开了梯度训练流程,直接作用于参数内部,理论上成本更低、改动更精准。对当前开源与闭源并存的大模型生态而言,这意味着开放权重模型可能获得一种新的“外挂升级”方式,也可能引发新的争议——模型能力是否还能单纯由权重文件界定。

对用户/开发者/创作者的影响

对开发者来说,如果该方法可复现,小参数模型在特定任务上的短板有可能借助外部大模型修补,而不必重训或换更贵的 API。不过目前公开信息仅基于研究博客与单一评测任务,尚不能推断该方法在对话、代码等场景同样有效,也不代表可以直接变成产品功能。对使用开源模型的团队,这提示“权重可编辑”会带来新的复用空间,同时也意味着模型来源与改动记录需要更清晰的管理。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是研究细节能否复现,以及是否发布代码或工具;二是被修改权重后的模型在其他基准上的表现是否稳定,是否只是针对 MATH-500 的定向修补;三是主流开源模型社区和模型厂商是否会跟进类似“权重编辑”流程,并就此形成新的安全与合规讨论。

来源:Slashdot

celebrityanime
celebrityanime
文章: 32346

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注