Hugging Face论文:On-policy蒸馏常非最优,Semi-OPD在14/17组超越

Hugging Face Papers 收录的一篇论文提出 Semi-OPD:用初始学生模型自己生成的离线轨迹来蒸馏,在 17 组教师—学生模型对比中 14 组优于当前流行的 on-policy 蒸馏(OPD),最高准确率提升 13.6%,训练提速 11.4 倍。它提醒开发者:on-policy 采样并非总是…

Hugging Face Papers 收录的一篇论文提出 Semi-OPD:用初始学生模型自己生成的离线轨迹来蒸馏,在 17 组教师—学生模型对比中 14 组优于当前流行的 on-policy 蒸馏(OPD),最高准确率提升 13.6%,训练提速 11.4 倍。它提醒开发者:on-policy 采样并非总是…

Artificial Analysis 上线了 Cognition 的 FrontierCode 1.1 代码评测排行榜,考察 AI 模型改动的开源代码能否被维护者真正合并。领先模型仍有超过 40% 的尝试被判定不合格。

港科大团队推出首个面向“数据视频”的多模态理解基准 DataVista,含 961 条真实视频与 6775 道题;测试 19 个主流多模态大模型,最好成绩仅 70.0%,远低于人类专家。

Hugging Face Papers 收录的论文提出 Video-RSI,让视频理解智能体用自身语言模型改写控制其观察方式的执行框架(harness),在更少帧数下提升准确率。它值得关注,因为它把“自我改进”从调模型权重转向改证据获取流程。

2026年10月,一个名为GraphDecide的模型无关基准发布,专门评估Jev这类直接从选项中挑选答案的System One模型在图结构任务上的决策能力,结果显示邻接识别准确并不代表结构理解正确。

Hugging Face Papers 收录的论文提出 ReHarness,一种在严格在线流式条件下用反向修正补充前向读写循环的智能体持续学习框架,在三个持续学习基准和三个语言模型骨干上均优于基线。论文摘要不代表产品已落地。

Hugging Face Papers 收录的论文提出 MetaKernelBench,用 74 个融合子图问题测量 GPU 内核优化经验能否从一种 DSL 迁移到另一种,跨六模型、双向迁移的配对提升在 -19% 到 +29% 之间。

一篇新论文提出 LatentGRM,把奖励模型的逐字评分改在连续潜空间完成,在保持判断力的同时把评审轨迹压缩约9倍、推理时间最多缩短7倍。

一项基于 StudyChat 和 RECIPE4U 两个公开数据集的研究发现,学生与ChatGPT的对话记录在跨学生预测学业成绩时,几乎没有增量预测价值,历史成绩仍是极难超越的基线。

alphaXiv 上的一篇新论文提出 MGVR,把 Transformer 中“是否借用第一层 Value”变成每个 token、每个 KV 头自己决定,在不改动注意力内核的前提下,实测最多节省约 16%–22% 训练步数。