Meta提出跨层共享Meta Expert:固定专家数量下仅用70%-80%专家即可匹配Vanilla MoE性能

Meta 在 Hugging Face Papers 发布论文,提出跨层共享的 Meta Expert 结构,用于替代 MoE 模型各层独立存储的 Local Expert。据摘要,在激活专家数和专家粒度不变时,该结构仅用 70%-80% 的专家即可达到 Vanilla MoE 的性能,值得关注其对大模型训练…

Meta 在 Hugging Face Papers 发布论文,提出跨层共享的 Meta Expert 结构,用于替代 MoE 模型各层独立存储的 Local Expert。据摘要,在激活专家数和专家粒度不变时,该结构仅用 70%-80% 的专家即可达到 Vanilla MoE 的性能,值得关注其对大模型训练…

Hugging Face Papers 于 2026 年 10 月 20 日收录的论文提出 Policy-Mask,用一套受“通道预算”约束的策略,同时决定从冻结扩散模型的哪一层、哪个时间步、哪些通道抽取特征做判别任务,并在相同预算下优于手工固定抽取方案。

一篇 arXiv 论文提出用轻量落脚点预测模型替代稠密高程图输入,让控制器只“看”预测落脚点附近的地形,训练迭代约为原方案的 1/3,并使 Unitree G1 人形机器人零样本通过台阶、缝隙和落差。目前公开信息显示这仍是论文层面的研究结果,不是已落地产品。

alphaXiv 2026年10月21日展示的论文提出 LAW 方法,让扩散语言模型在每一步只传递“期望嵌入”而非离散 token,在 GSM8K 等任务上超过此前的离散扩散基线,为并行解码路线提供了新思路。

一篇发表于 alphaXiv(2026 年 10 月 21 日)的论文指出,大模型预训练向中训练(MT)数据切换的时机,会随学习率调度而改变优劣;单独选定数据排期或学习率都可能不是最优。

alphaXiv 上的一篇论文提出 Harness Scaling,把智能体执行框架从单一固定配置扩展为多样化训练配置,以提升强化学习策略在未见白盒配置及外部黑盒框架上的泛化能力。

Hugging Face Papers 收录的论文 RealMe 提出一种统一框架,用高分辨率视频扩散模型把稀疏、低分辨率的拍摄素材增强成 2K、4D 一致的视频,再据此重建沉浸式体积视频,试图降低体积视频制作对昂贵密集多机位采集设备的依赖。

arXiv 上的一篇新论文提出一种测试时框架,让大模型智能体在部署中先用世界模型“想象”多个候选动作的结果,再结合经验记忆做决策,尝试在语言环境里实现预测式自我改进。

arXiv 上一篇新论文提出 D-Skill 框架,把前沿大模型智能体的行为优势提炼成可读的自然语言“技能文档”,在不更新学生模型权重的情况下完成能力迁移,值得关注的是它给“蒸馏”提供了不依赖参数训练的新路线。

arXiv 新论文提出 DiffResearch,一个把扩散语言模型放进多智能体深度研究每个阶段的开源框架;在固定其他条件下,它报告端到端延迟约为自回归基线的六分之一,值得关注的是“换骨干模型”对研究型 AI 应用效率的影响。