Hugging Face论文提出MSAR:多流注意力残差架构,等损失下训练提速1.58倍

Hugging Face Papers 上出现一篇论文,提出多流注意力残差(MSAR),把注意力残差从单流扩展为多头深度注意力,在 18B 和 28B MoE 规模下报告了优于标准残差和已有残差变体的结果。

Hugging Face Papers 上出现一篇论文,提出多流注意力残差(MSAR),把注意力残差从单流扩展为多头深度注意力,在 18B 和 28B MoE 规模下报告了优于标准残差和已有残差变体的结果。

alphaXiv 上的一篇新论文提出 PageGram,把多头 n-gram 哈希表的各行放进同一页,使设备端大参数记忆表的读取次数接近普通平表,同时保留多头抗碰撞优势。

alphaXiv 上公开的一篇论文提出“纠错训练”方法,用一个小型纠错器修正扩散模型自身预测的累积误差,在无引导生成时显著改善 FID,效果接近 CFG,且推理成本可通过蒸馏摊销。

一项基于 JetBrains IDE 中 4782 份真实工程师会话的研究发现,现有 issue 型基准任务与真实任务流差别明显,论文提出 SWE-TaskFlow 让基准向目标场景校准。

研究者提出CASE临床智能体框架,让视觉语言模型学会在长周期病历与多序列MRI中主动搜寻证据,而不是只对预先筛选好的资料作答。在UK Biobank构建的纵向基准上,其Qwen3-VL-8B智能体在匹配条件下答案准确率相对GPT-5.4和Claude Opus 4.8分别提升超16%和10%。

Hugging Face Papers 收录的论文 MixTok 提出一种混合视觉分词方案:用紧凑的一维全局 token 打底,再按内容复杂度稀疏补充二维局部 token。在相同平均 token 预算下,图像重建与生成的评测指标表现有竞争力,指向“按需分配算力”的视觉 tokenization 路线。

一篇来自 Hugging Face Papers 的论文提出用信息熵和 CKA 相似度自动挑选 LLM 的隐藏层组合,用于投机解码,在 EAGLE3 风格实验中优于 [2, N//2, N-3] 等固定默认规则。
今日看点:Meta 的 Muse Wonder 在独立评…

Artificial Analysis 发布 AA-3D 基准,用交互式 3D 场景任务评测 AI 模型,发现排名靠前的模型会更早查看自己生成的画面并开始浏览器测试,而这一行为与 Elo 排名高度相关。

alphaXiv 于 2026 年 10 月 7 日展示的论文提出 CoTrace 数据配方,让终端智能体的运行时(harness)与模型权重交替进化,在 Tmax 评测中将 Qwen3.5-9B 解决任务数从 78 提升至 88(SFT)或 90(在线 RL)。