一句话看懂：Hugging Face Papers 收录的一篇论文指出，标准多Token预测（MTP）训练存在梯度噪声问题，并提出 Soft-MTP——只需改动一行代码，就能在 167M 到 1.2B 参数规模上改善下游表现与投机解码速度。
事件核心：发生了什么
MTP 已成为大模型预训练中较常见的组件，用于提升下游表现，并借助投机解码加快推理。论文作者称，标准 MTP 的交叉熵梯度可以精确分解为一个 KL 自蒸馏项和一段残差；前者让各个 MTP 头靠近模型自身的下一Token预测分布，有利于投机解码，后者的信噪比较低，且随着模型规模变大，对下一Token学习和多Token学习的干扰会更明显。
为此，作者提出 KL 梯度恢复技巧，并落地为 Soft-MTP。该方法无需构造词表大小的 logit 矩阵，兼容现有的融合交叉熵内核，支持 DeepSeek 和 Meta 两种风格的 MTP，不增加参数，也没有可测量的额外开销。摘要给出的实验显示，从 167M 到 1.2B 参数，Soft-MTP 在每个规模上都有更低的 NTP 困惑度、更快的投机解码和更高的零样本准确率；689M 起 MTP 困惑度更低，1.2B 微调后在数学和代码推理上更强。上述结果均来自论文摘要，发布时间为 2026 年 10 月 28 日，尚未经全文独立核验。
为什么重要
MTP 的收益此前多被当作“加得越多越好”的经验，这篇论文把问题定位到梯度结构本身：有用的自蒸馏信号被噪声残差掩盖。若结论成立，训练侧的改进可能不需要额外算力和参数，这对正在使用 MTP 的开源模型训练和推理优化有直接参考价值，也说明投机解码的加速效果与训练目标设计密切相关。
对用户/开发者/创作者的影响
对开发者而言，Soft-MTP 是相对低成本的试验方向：代码已开源在 GitHub，论文称只需一行改动，且支持两种主流 MTP 结构。若后续复现顺利，模型训练方可尝试在不改变模型架构的情况下改善困惑度和推理速度。对普通用户和创作者来说，短期不会有直接产品变化；这类训练改进更多会通过开源模型迭代间接体现为响应更快、输出质量更稳。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是社区能否在更大参数规模和不同模型家族上复现摘要中的收益；二是该方法与直接最小化 KL 的对比在完整实验中是否仍成立；三是主流开源模型训练是否会采纳这类改动，以及是否带来实际推理延迟和成本变化。目前公开信息显示，这仍是论文层面的方法，不是已发布的产品功能。
