一句话看懂：Hugging Face Papers 收录的论文 DeltaTTG 提出用“Token-to-Go”作为多轮 Agent 训练中的可复用进度信号，在不改变奖励函数的前提下重新分配各步骤优势值；摘要显示其在 ALFWorld 等三个任务上平均分较 GRPO 提升 5.7 以上。目前信息仅来自论文摘要，尚不代表正式产品或功能上线。
事件核心：发生了什么
这篇论文关注的是多轮 Agent 的强化学习训练难题：现有 RLVR（可验证奖励强化学习）通常只给出一个最终结果奖励，无法说明中间哪一步做得好，哪一步拖了后腿。直接给每一步打分又往往依赖昂贵的外部评测器、人工标注或任务定制规则。
DeltaTTG 的做法是训练一个共享的“进度计”，监督目标叫 Token-to-Go（TTG），即距离任务完成还需要生成多少 token。这个指标被当作剩余完成工作量的可观察代理。训练 actor 时，冻结的进度计只改变优势值在不同步骤间的分配，不改变原始奖励，也不改变整条轨迹的优势符号和 token 平均尺度。
摘要给出的实验范围是 ALFWorld、PaperSearchQA 和 BFCLv3 三个任务。相比 GRPO，Qwen3-4B 上平均分提升 5.7 分，Llama-3.1-8B-Instruct 上提升 7.2 分，并称平均优于所比较的 RL 基线，同时 actor 训练 GPU 小时数接近 GRPO。代码已开源在 GitHub。
为什么重要
多轮 Agent 是当前大模型落地的重要方向，但训练信号稀疏一直是硬骨头。如果只靠最终成败发奖励，模型很难学会“哪一步该保留、哪一步该修正”，而人工逐步标注又难以规模化。
DeltaTTG 的价值在于把“剩余生成量”变成一种低成本、跨任务可复用的中间信号。它不依赖具体任务的进度规则，也不要求外部模型在线打分，这给开源社区和算力有限的团队提供了一条更轻量的多轮 Agent 训练思路。摘要还提到样本效率、域外表现和测试时动作选择有所改善，但这些结论仍需完整实验和复现来确认。
对用户/开发者/创作者的影响
对开发者而言，最直接的影响是训练多轮 Agent 时可能不再需要为每一步设计复杂奖励，也不用把大量成本花在逐步评估器上。若进度计确实可复用，团队可以把精力放在环境、工具调用和任务数据上。代码已在 GitHub 开源，适合有 RL 训练经验的研究者先行验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对应用侧来说，这类方法如果成熟，可能改善客服 Agent、网页操作 Agent、搜索问答 Agent 在长链路任务中的稳定性。不过目前公开信息仅来自论文摘要，尚未看到完整实验细节、评测协议和第三方复现，普通用户暂时不会直接感知到产品变化。创作者和企业采购方也不宜据此判断某款 Agent 产品能力已经升级。
值得关注的后续
一是完整论文和代码是否披露 Token-to-Go 进度计的训练成本、数据依赖和跨模型泛化边界；二是社区能否在更多 Agent 任务和更大模型上复现 5.7 分与 7.2 分的提升；三是这一思路是否被主流 Agent 框架或开源训练管线吸收，变成可用的 API 或训练组件。
