不靠 Transformer:前沿 LLM 手写权重,参数少约 1800 倍仍提高准确率

一项新研究让前沿大模型在“手写权重、不用梯度训练”的条件下自行设计网络结构,结果都选择了稀疏查表结构,并在多项选择题上取得最高 54.4% 的测试准确率,值得关注的是它动摇了对 Transformer 架构前提的默认假设。

一项新研究让前沿大模型在“手写权重、不用梯度训练”的条件下自行设计网络结构,结果都选择了稀疏查表结构,并在多项选择题上取得最高 54.4% 的测试准确率,值得关注的是它动摇了对 Transformer 架构前提的默认假设。

Hugging Face Papers 收录一篇论文,提出多分支 Transformer(MBT):把完整 Transformer 块并行组合成多个分支,在匹配参数与训练算力的条件下优于顺序堆叠的 Transformer,并配套 Joint-KV 共享缓存降低长上下文推理成本。

2026年11月16日,Hugging Face Papers 收录的论文提出 ForceHarness,在不微调、不演示的情况下,让只提供 API 的冻结多模态模型处理接触力任务;在无腕部力传感器的真实机械臂上,GPT-6 Astra 零样本成功率从 3.3% 提升到 90.0%。

arXiv 上一篇新论文逐层探测 OpenFold 的 48 层 Evoformer,发现距离可解码性和三角形不等式一致性并非单调改善,而是分两阶段起伏变化。这为理解蛋白质结构模型内部几何表征如何演化提供了可直接检验的线索。

一篇新论文提出能量基推理器(EBR),把循环推理模型的潜在状态更新重新表述为能量函数上的梯度下降,让模型“知道自己何时该停”。在数独等四个算法推理基准上,它用约为次优模型1/345的推理算力达到99.9%准确率。

一篇 arXiv 新论文评估三款音频大模型从儿童语音判断年龄的能力,发现它们不仅常把 13 岁以下儿童判成成年人,还暴露出三种不会触发任何告警的流水线失效,这些失效会让常规监控全部失灵。

Perplexity 在 2026 年 11 月 17 日为 Computer 新增 Multiagent 努力档位,最多可调度 16 个来自不同厂商的 Agent 并行协作并互相核验,档位高于 Ultra,仅面向 Max 订阅用户。

arXiv 新论文提出边缘-云推测解码系统 SpecRelay,通过异步验证流水线和对延迟敏感的路由,减少每轮等待网络往返的时间和发往云端的查询次数,摘要称在 250 毫秒额外延迟下吞吐可达基线的 1.95 倍和 1.55 倍。

Hugging Face Papers 收录的论文 OutfitterBench 提出一个为期 200 天的户外装备租赁经营模拟,用来检验 LLM Agent 能否在有限资金下守住既有承诺、并持续重新评估资源分配的价值;摘要显示七款前沿模型中多数表现不如简单的规则基线。

一篇 arXiv 新论文基于对学术界与产业界 5 位 AI 安全基准开发者的访谈指出,安全基准被视为理解生成式 AI 风险的主要工具,却常难以满足真实部署环境的安全评测需求,开发者与使用者之间存在明显落差。