ECHO: 把多 token 预测并入自回归目标，底层模型兼任草稿器

一句话看懂：Hugging Face Papers 上的一篇论文提出 ECHO：让骨干模型最后一层自己预测多个未来 token，并用动态深度采样控制训练成本，省掉多 token 预测（MTP）常设的辅助模块和额外前向。若结论成立，多 token 预测会更像训练目标的一部分，而不是外挂任务。

事件核心：发生了什么

论文摘要显示，发布时间为 2026 年 10 月 17 日。作者指出，现有 MTP 方法每增加一个预测长度（horizon）就要多一个模块、多一次前向，且损失主要落在骨干之外的辅助模块上。ECHO（Efficient Causal Self-Recursion）改为由骨干自己的最后一层预测所有 horizon，监督信号直接落到生成下一个 token 的参数上；同时用 Dynamic Depth Sampling（DDS）按随深度衰减的概率抽取训练深度，让更深 horizon 的训练成本可控。摘要称，在预训练阶段，增加深度带来的下游准确率提升在辅助模块已经饱和的位置继续生效，重点集中在推理和代码任务，训练开销约为“训练每个深度”的一半 MTP 开销。推理时，预训练模型可充当自己的 drafter，在开放、高熵生成中维持草稿与目标的对齐，这一优势在翻倍 token 预算、重复预训练和 SFT 后仍然存在。以上均来自摘要，未见全文实验细节。

为什么重要

多 token 预测长期被当作预训练的辅助信号，工程实现往往要额外挂模块、增加前向，收益不稳定。ECHO 把未来预测并入自回归目标本身，如果可复现，意味着大模型预训练阶段可以用更少额外开销换取推理和代码能力增益，而不必依赖后训练拼接的草稿模型。对推理端而言，“模型自己当 drafter”可能降低对独立 draft 模型的依赖，为投机解码类方案提供新思路，但需注意这仍是论文主张，不是已经验证的线上产品能力。

对用户/开发者/创作者的影响

对开发者，若方法被开源实现或框架采纳，预训练和微调多 token 头可能不再需要复制模块，显存和算力规划会简单一些；对调用 API 的应用方，潜在影响是推理加速方案选择变多，但短期不改变现有接口。对创作者，这类训练方法本身不直接改变内容生成体验，更多作用于推理和代码任务的质量与成本。目前公开信息显示，论文尚未给出可部署代码或产品入口，不宜按上线功能宣传。