MIT CSAIL 尝试用 GPT-6 Astra 直接改权重,Qwen3.5-0.8B 数学准确率升至 48.1%

MIT CSAIL 提出“权重空间编程”,让前沿模型直接读取并改写开放权重模型的部分参数,无需训练循环;在 Qwen3.5-0.8B 上,小模型数学和指令遵循表现明显提升,但结果依赖模型与多轮前向计算。

一句话看懂:MIT CSAIL 提出“权重空间编程”,让前沿模型直接读取并改写开放权重模型的部分参数,无需训练循环;在 Qwen3.5-0.8B 上,小模型数学和指令遵循表现明显提升,但结果依赖模型与多轮前向计算。

事件核心:发生了什么

据 AI Breakfast 2026 年 11 月 4 日报道,MIT CSAIL 的四位研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 于本周一发布了“Weight-Space Programming”方法:把神经网络的原始权重交给前沿模型,让它直接读取、修复和改写网络,而不是走常规训练流程。

报道给出的主要结果来自 Qwen3.5-0.8B:GPT-6 Astra 编辑了 131,072 个权重,约占模型 0.016%,使 MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。该结果需要 50 次前向计算;10 次和 25 次时 MATH-500 仅到 12.3% 和 14.1%。同一方法对 Gemma 3 270M 没有效果,从权重中读取谄媚倾向也失败,直到模型能检查自己写出的文本的注意力模式才奏效。

为什么重要

这条路线把“用大模型改进小模型”从蒸馏、微调推进到直接编辑参数,指向一种新的算力分配方式:推理端的大模型充当“权重编辑器”,开放权重模型则成为可被修复和定向增强的对象。对开源生态而言,这可能降低特定能力补强的门槛;但素材也显示方法并不通用——模型规模、架构和任务都会影响效果,且 50 次前向计算不是零成本。目前公开信息显示,这仍是论文层面的结果,不能视为已上线产品或通用能力。

对用户/开发者/创作者的影响

开发者可以关注:如果后续出现可复现工具链,开放权重模型的小幅能力修补可能不再必须准备完整训练管线。但现阶段的实验条件较窄,不适合直接用于生产模型。对使用 API 或本地部署的团队来说,更现实的启示是评估“大模型辅助改小模型”的成本收益,而不是期待一键升级。创作者侧影响有限,短期不会改变现有 AI 应用的能力边界。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整实验设置与失败案例,尤其是 Gemma 3 270M 无效的原因;二是该方法能否在更多开放权重模型和任务上复现;三是 GPT-6 Astra 之外的前沿模型是否具备类似权重读写能力,以及推理成本是否可接受。

来源:AI Breakfast

celebrityanime
celebrityanime
文章: 32680

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注