Tree-Ising:把大模型修复变成BF16权重上的稀疏优化问题

Hugging Face Papers 于 2026 年 11 月 10 日收录的论文摘要提出 Tree-Ising,把语言模型的“权重修复”写成对 BF16 权重做稀疏离散优化,在数学任务上小幅超过 GPT-6 Astra 智能体此前的修复结果,同时大幅减少改动的权重数量与调用成本。

一句话看懂:Hugging Face Papers 于 2026 年 11 月 10 日收录的论文摘要提出 Tree-Ising,把语言模型的“权重修复”写成对 BF16 权重做稀疏离散优化,在数学任务上小幅超过 GPT-6 Astra 智能体此前的修复结果,同时大幅减少改动的权重数量与调用成本。

事件核心:发生了什么

这项工作的背景是 MIT 研究者 Takehi 等人提出的“权重空间编程”:让前沿大模型智能体直接读取网络权重并写出修复方案。此前的 GPT-6 Astra 智能体在 Qwen3.5-0.8B 上修复推理循环,没有使用梯度,但消耗了 158 个智能体回合、8970 万 token 和 50 次前向请求。

Tree-Ising 把这件工作转成优化问题:用前向统计定义目标,削弱循环方向、强化收敛方向,同时尽量保持该层在有效 token 上的输出不变。可允许的编辑限定为符号翻转和指数偏移,并按输出行拆成独立的 QUBO(Ising)子问题,在 GPU 上用模拟退火或量子启发式模拟分叉求解。摘要称,在智能体改动的两层上,MATH-500 达到 54.6%,高于智能体的 51.7%,基座模型为 7.9%;模拟分叉解法得到 55.1%。该方法只改动了少 13% 至 17% 的权重,BF16 比特翻转减少 2.2 至 2.3 倍,仅需四次前向请求、零 LLM token,退火方案约 0.90 美元 GPU 时间。在 Qwen3.5-2B 上,同一套方案把 GSM8K 贪心准确率从 21.6% 提升到 69.4%。

为什么重要

如果结论成立,这意味着模型修复未必依赖昂贵的大模型智能体反复读写权重,而可以转化为更便宜、可复现的数值优化。对算力有限的团队来说,修复成本和 token 开销的下降,可能让“事后修模型”成为训练之外的补充路径。不过,目前公开信息仅为论文摘要,实验范围有限,也未见全文或独立复现,不能把结果理解为通用能力。

对用户/开发者/创作者的影响

对开发者而言,这条路线更接近“在权重层面打补丁”,而非重新训练或微调;它需要理解层结构、前向统计和离散优化工具。对使用开源小模型的应用团队,若后续验证可迁移到更多模型和任务,可能提供一种低成本修复推理缺陷的手段。对普通用户和创作者,短期内没有可直接使用的产品接口,更多是技术路线的观察信号。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与代码是否公开,实验是否覆盖更多模型规模和任务;二是该方法能否稳定迁移到非数学推理场景,并保证不损害原有能力;三是开源社区与闭源大模型厂商是否跟进类似的权重级修复工具链。以上判断均基于摘要信息,具体效果仍需核验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 34261

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注