一句话看懂：论文提出“targeted guidance”框架，在 agentic 多轮软件工程任务中，仅对失败回合注入文本反馈做在线自蒸馏，并与逐条准则的 RL 奖励结合，以在不明显拖累基线 RL 表现的前提下学习原本难以优化的行为。目前信息来自论文摘要与页面概述，尚未显示已产品化或经同行评审。
事件核心：发生了什么
alphaXiv 于 2026 年 11 月 3 日展示的论文《Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning》关注一个具体问题：在线强化学习（RL）常被基础模型自身能力卡住，某些目标行为很少出现，策略梯度几乎无从强化。作者利用带评分细则的判题模型等文本奖励源，把逐回合反馈转化为方向信号，通过在线自蒸馏（OPSD）让同一模型分别扮演学习者和“反馈条件专家”，把实时策略拉向专家 token 分布。
关键设计有两点：提示只插在策略失败的回合之前，且只对失败回合蒸馏；同时保留普通 RL 奖励，避免学到的新行为被冲掉。在摘要所述的多轮软件工程环境里，作者称该方案能稳定熵并减少训练振荡。演示中，智能体学会调用需要 num_results 参数的语义搜索工具，正确率从接近零升至接近一，编码通过率波动范围与基线相近；该结果仅限此设定。
为什么重要
当前后训练越来越依赖判题模型、评分细则等富文本奖励，但奖励只能告诉模型“错了”，很难说清“怎么改”。论文的做法是把失败点的文本纠错变成逐 token 蒸馏目标，为覆盖率瓶颈提供一种补充手段，而不是替代 RL。若后续验证成立，这类“失败点定向自蒸馏”可能帮助 agent 产品更快学习 API 格式、工具调用规范等边缘行为；但其范围偏窄，目标主要是风格与格式，而非主智能提升。作者也未声称减少尝试次数、生成 token 或训练时间，且全词表 logit 目标会多一次前向成本。
对用户/开发者/创作者的影响
对开发者而言，值得关注的是工具调用格式与状态报告类行为能否被更可靠地教会，而不必完全依赖大模型“自然涌现”。对构建多轮 agent 的团队，论文提示了一种训练信号组织方式：把 rubric 反馈按回合对齐、只蒸馏失败回合，并与常规奖励联合优化。普通用户短期内更可能感知到的是 agent 调用外部工具时参数遗漏减少，而非模型基础能力跃升——现有公开信息尚不支持更强结论。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该方法在更多任务与模型规模上能否复现“稳定熵、减少振荡”的结论；二是额外前向开销能否被工程优化，否则会抬高训练成本；三是若开源实现出现，agent 框架与后训练工具链是否跟进。论文摘要不等于已上线功能，需等待全文实验细节与可核查评测。
来源：alphaXiv
