多教师在线蒸馏新方案Road MOPD:跨教师守卫缓解梯度冲突

Hugging Face Papers 收录了一篇新论文,提出 Road MOPD 方法,用非路由教师作为跨域“评论家”来协调多教师在线蒸馏中的梯度冲突,实验显示在高冲突场景下性能提升超过 5 个百分点。

Hugging Face Papers 收录了一篇新论文,提出 Road MOPD 方法,用非路由教师作为跨域“评论家”来协调多教师在线蒸馏中的梯度冲突,实验显示在高冲突场景下性能提升超过 5 个百分点。

一篇上传至 Hugging Face Papers 的论文提出 Cortex 框架,尝试把上下文带来的性能增益“内化”进模型参数,在 4B 至 120B 模型上实现上下文移除后仍保留大部分增益,同时尽量不损伤原有能力。

一篇新论文提出 KV4-RL,在大模型强化学习训练中用 INT4 量化 KV 缓存,对注意力汇和近期上下文保留 INT8,缓解了量化导致的学习退化,在 Qwen3 系列上实现近 1.8 倍 rollout 提速,精度损失控制在 0.5 个百分点以内。

2026年10月,一篇新论文提出RAR框架,让基于视频的交互式世界模型能以可调时间速率生成内容,解决了固定速率下时间粒度与物理视野的固有矛盾。

Hugging Face Papers 收录的论文 PixText 把图像中的小字、复杂字符修复重新定义为“像素空间分组生成”,只重绘目标区域,在自建基准上目标字符 OCR 准确率达到 94.66%。它指向生成图像落地时一个常被忽略的问题:字能不能被看清、被读对。

一篇 2026 年 10 月 13 日发布的论文提出 SMD 框架,仅用回归式 on-policy 速度蒸馏,就能在 4 步采样下生成图像、视频和 3D 内容,并声称在多个基准上超过多步教师模型。若结论经复现验证,少步扩散推理的成本门槛可能进一步降低。

一篇 2026 年 10 月 13 日上传至 Hugging Face Papers 的论文提出 LensErase,一个基于掩码的“擦除一切”基础模型,覆盖物体、视觉文字、水印及其关联效果与多目标移除,并公开了 1.01 亿对训练数据规模。值得关注的是,它试图把图像擦除从单点工具推向通用基础模型层面。

一篇发布在 Hugging Face Papers 的论文提出 APT 框架,用三个智能体自动完成评测集构建、模型弱点诊断与强化学习数据生成,让文生图模型根据自身能力短板反复自我后训练。

一篇新论文在 ALFWorld、ScienceWorld、Search-QA、WebShop 四个任务上,用三种模型规模比较了十种自蒸馏方法与 GRPO,发现没有一种方法能全面胜出。这项研究把「训练稳定性」和「算力成本」摆到台面上,对智能体训练的方法选择有直接参考价值。

2026年10月14日,Hugging Face Papers收录了一篇关于“智能体机器人”的综述论文,尝试把当前分散的机器人智能研究,统一到模型、数据、环境、Harness四个功能域共十七个类别中。