一句话看懂：一篇 arXiv 新论文提出，只在教师模型概率最高的极小部分词表上做蒸馏，在 Qwen3 4B→1.7B 等模型对上，保留 0.01% 词表也未观察到 MMLU-Pro 退化。若结论成立，大模型推理蒸馏的训练成本与显存压力可能明显下降。
事件核心：发生了什么
2026 年 11 月 13 日发布于 arXiv cs.AI 的论文（编号 2611.14850）研究了前向 KL 语言模型蒸馏的一个成本问题：常规做法要在每个监督位置计算教师和学生在整个词表上的稠密分数，训练和存储教师目标都很昂贵。作者改为只从教师概率最高的那部分词表蒸馏，并将其余概率质量重新归一化，把支持集从 100% 逐步收缩到 0.01%。
主实验是 Qwen3 4B 蒸馏到 1.7B，并在 Qwen3 8B→4B、Nemotron Nano 12B→9B 以及仅答案监督条件下做了验证。评测以 MMLU-Pro 为主、GPQA-Diamond 为辅。摘要称，Qwen3 各设置下保留 0.01% 词表相对全词表蒸馏未观察到 MMLU-Pro 退化，尽管与完整教师分布的分歧变大；Nemotron Nano 在 0.1% 时追平全词表，更小比例则出现无法输出结束推理标签的问题，说明可靠截断点与模型家族有关。0.01% 支持集下，缓存保留的下一 token 分数使训练步时降低 38%，限制学生输出计算使峰值内存降低 24%。以上均依据摘要，未核验全文实验。
为什么重要
稠密词表打分是蒸馏训练中算力和存储的固定开销，尤其当教师模型更大时。若短支持集能在不同模型家族上稳定复现，蒸馏数据的存储格式、训练框架的实现方式乃至“教师信号要保留多少”这一默认假设都可能被重新审视。对开源模型生态而言，这类方法降低的是推理能力迁移的门槛，而不仅是单次训练成本。
对用户/开发者/创作者的影响
目前公开信息显示这仍是论文层面的方法，不是可直接调用的 API 或产品功能。对训练小模型的开发者，值得关注的是它把“教师目标缓存”和“学生输出计算”都变成可裁剪对象，可能影响自定义蒸馏管线的显存预算设计。对依赖开源小模型做本地推理的创作者和团队，短期影响取决于该做法是否被主流训练框架吸收；在 MMLU-Pro 之外的生成质量、长推理链完整性和多语言表现，摘要尚未给出结论。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Qwen3 之外的模型家族能否找到同样可靠的截断比例，Nemotron 的结束标签问题是否普遍；二是 0.01% 支持下与教师分布分歧增大，是否会在 MMLU-Pro 以外的任务上暴露；三是相关技巧是否被开源蒸馏工具链或训练框架采纳，以及是否伴随代码与权重发布。
来源：arXiv cs.AI
