arXiv论文提出词表精简蒸馏:仅保留0.01%词表,Qwen3推理蒸馏效果不降

一篇 arXiv 新论文提出,只在教师模型概率最高的极小部分词表上做蒸馏,在 Qwen3 4B→1.7B 等模型对上,保留 0.01% 词表也未观察到 MMLU-Pro 退化。若结论成立,大模型推理蒸馏的训练成本与显存压力可能明显下降。

一篇 arXiv 新论文提出,只在教师模型概率最高的极小部分词表上做蒸馏,在 Qwen3 4B→1.7B 等模型对上,保留 0.01% 词表也未观察到 MMLU-Pro 退化。若结论成立,大模型推理蒸馏的训练成本与显存压力可能明显下降。

一篇 arXiv 新论文梳理了人类—智能体系统中理解他人、协同决策与关系维护的开放挑战,主张把人际交互当作持续的不确定性决策问题来设计,而非一次性功能。

一篇 arXiv 新论文评估了“证明步骤验证”流水线:让 LLM 把解题答案重写成带类型的步骤并逐链认证,只在有把握时作答。它在难任务上显著提高答案精度,但覆盖面大幅下降,在接近满分的任务上收益很有限。

arXiv 2026年11月13日发布的一篇新论文提出,不再把VLM等预训练感知模型的预测简化为单一“最佳猜测”,而是利用模型输出层已有的概率分布,构建满足置信阈值的“最小信念集”,让下游决策更稳健。

一篇新挂上 arXiv 的论文指出,Arena 式匿名两两对比、再用 Bradley-Terry 模型聚合投票的排行榜,可能被策略性投票、策略性提示和策略性提名三种手段操纵;论文摘要称,在公开榜单数据上单种攻击可抬升约 15-20 名,组合使用最高约 45 名。

arXiv 上新论文提出 SynthCorp,用模拟企业事件的方式自动生成数据资产和评测任务,试图解决数据智能体基准饱和、难以针对特定能力的问题。

一篇 arXiv 新论文发现,给工具调用型大模型 Agent 清理或改写历史记录,效果取决于“世界状态”是否已被修正——当环境里仍保留错误,把历史修饰得像已完成,反而可能让后续 Agent 表现更差。

一篇发表于 Hugging Face Papers 的论文研究了决策模型在长程 Agent 任务中扮演“演员、裁判、老师”三种角色时的差异,发现行动表现差的模型作为事后裁判和强化学习老师反而可能很有效。

PhysLoop 提出一套利用大模型物理知识来筛选、修正视频生成结果的框架,并开源 10 万段视频与两个评测数据集,尝试推动视频生成模型在物理一致性上的递归自我改进。

Edge0于2026年11月12日开源145B参数模型Edge0-145B及统一推理框架,宣称在兼容笔记本上以约29GB峰值内存实现80+ tokens/s生成速度,试图让本地设备承担过去依赖云端的前沿模型任务。