一句话看懂:一项新研究让前沿大模型在“手写权重、不用梯度训练”的条件下自行设计网络结构,结果都选择了稀疏查表结构,并在多项选择题上取得最高 54.4% 的测试准确率,值得关注的是它动摇了对 Transformer 架构前提的默认假设。
事件核心:发生了什么
据 Hugging Face Papers 收录的一篇论文摘要(页面标注时间为 2026 年 11 月 17 日),研究者提出“权重空间编程”:让大语言模型直接写出目标权重,不依赖基于梯度的训练。在仅给少量说明、十个带标签样例和一个沙箱环境的情况下,三个前沿 LLM 被要求要么为固定架构生成权重,要么自行设计架构,任务主要围绕多项选择题。当被允许自由设计时,三个模型都给出了同一类方案:把纯文本事实编译成一张稀疏表,再用固定流程查询,测试准确率最高达到 54.4%。摘要称,这一 LLM 设计的模型准确率高于同一 LLM 写出的已发布 Transformer,参数量约为后者的 1/1800。
为什么重要
Transformer 之所以成为主流,很大程度上是因为它适合梯度下降训练、在 GPU 上跑得快。而权重空间编程绕开了训练环节,这两个理由便不再充分。论文更值得注意的发现是“可解释性”:模型在没有梯度的情况下选择表格,是因为它能说明每个权重代表什么,也能定位并改写错误权重——一个错误答案对应一行,删掉一行只影响约一个其他答案。作者据此提出一种基于联想记忆的模型,称同尺寸下在 GPU 上最多快 17 倍。这为“大模型能自行决定架构”提供了一种具体路径,但目前仅是论文摘要层面的结论。
对用户/开发者/创作者的影响
目前公开信息显示,这还不是可直接调用的产品、API 或开源工具。对开发者而言,它的启发在于:当推理成本和参数规模成为瓶颈时,未必只能在 Transformer 内部做优化,也可以让模型参与结构选择;稀疏表加固定查询流程本身就易于审计和修改单个权重。对使用大模型构建应用的团队,论文也提示了边界——在生成式任务上,预训练 LLM 仍更准确;该主张针对的是“手写权重时该建什么结构”,而非替代预训练模型。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是论文全文及社区复现能否支撑摘要中的准确率与速度数据,尤其是 17 倍加速的硬件与对比条件;二是从多项选择题扩展到生成任务时,表格结构是否仍具优势;三是这种可编辑权重的思路是否会被推理框架或工具链吸收,形成新的实验方向。


