GPT-6 Astra 修改 Qwen 权重:0.016% 参数让数学提分,但真相是修复推理循环

MIT CSAIL 团队让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的约 0.016% 权重,将 MATH-500 成绩从 7.9% 提升到 48.1%,全程未训练。但这次提分主要来自修复推理循环的缺陷,并非模型凭空获得新能力。

一句话看懂:MIT CSAIL 团队让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的约 0.016% 权重,将 MATH-500 成绩从 7.9% 提升到 48.1%,全程未训练。但这次提分主要来自修复推理循环的缺陷,并非模型凭空获得新能力。

事件核心:发生了什么

2026 年 11 月初,MIT CSAIL 的四位研究者公布了一项实验:让 OpenAI 的前沿模型 GPT-6 Astra 直接读取阿里开源模型 Qwen3.5-0.8B 的权重,并编辑其中约 131072 个参数,占模型总参数(约 8 亿)的 0.016%。整个过程没有重新训练,也没有梯度下降。修改后,MATH-500 数学基准从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%。Astra 修复的是 Qwen 已知的推理循环问题——模型原本有 93% 的答案会因反复循环而撞上 token 上限,修好后已有能力得以释放。对照组 Gemma 3 270M 本身很少循环,Astra 编辑后 MATH-500 仅提升 0.9 分,作者报告为“未确立”。目前该研究尚未同行评审,也没有 DOI。

为什么重要

这项实验首次走通了“一个模型直接读写另一个模型权重”的路径,把模型改进方式从依赖数据与算力的微调,拓展到直接编辑权重空间。对开源模型生态而言,它提示了一种低成本的缺陷修复思路;但对照组结果和实验设计问题也说明,这更像初步火花,而非通用工具。目前公开信息显示,编辑方只有 GPT-6 Astra,其他前沿模型是否能读懂权重仍未知。

对用户/开发者/创作者的影响

对开发者,短期不要期待用 API 或开源工具“改几个权重就让模型变强”,现有证据只支持修复特定缺陷。对使用开源小模型的团队,可以关注模型卡中类似循环、重复生成的已知问题,但修复仍需人工验证。对普通用户,这次实验不会改变现有产品的使用体验,更现实的价值是理解“数学分数提升”可能来自修 Bug,而非能力跃迁。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 是否有第三方独立复现该实验,并补上关掉 reasoning 模式等对照;2. Claude、Gemini、DeepSeek 等模型是否具备读写权重的能力;3. 论文是否通过同行评审并公开完整实验代码与采样设置。

来源:juejin

celebrityanime
celebrityanime
文章: 33196

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注