演员、裁判还是老师?研究:决策模型行动差也能教得好

一篇发表于 Hugging Face Papers 的论文研究了决策模型在长程 Agent 任务中扮演“演员、裁判、老师”三种角色时的差异,发现行动表现差的模型作为事后裁判和强化学习老师反而可能很有效。

一句话看懂:一篇发表于 Hugging Face Papers 的论文研究了决策模型在长程 Agent 任务中扮演“演员、裁判、老师”三种角色时的差异,发现行动表现差的模型作为事后裁判和强化学习老师反而可能很有效。

事件核心:发生了什么

根据论文摘要,研究团队在 ALFWorld 上将三个决策模型和三个通用大模型分别作为“行动者”和“裁判”进行对比,并让 JEV 模型扮演“老师”,用强化学习训练策略。结果显示:作为行动者时,六个模型都会因为存在更容易的子目标而偏离必须先完成的子目标;但作为能看到完整轨迹的裁判时,同一批模型却能正确肯定通往该子目标的步骤。作者还发现,把提问方式从“任务会不会成功”改为“这一步是否有帮助”,能更好地区分有用与无用动作。

在教师角色上,JEV 将 Qwen2.5-1.5B 策略在 GRPO 训练后的成功率从 ALFWorld 的 72.8% 提升到 82.9%,在 WebShop 上从 56.8% 提升到 71.4%。代码已在 GitHub 公开。目前信息仅基于摘要,实验细节与完整结论尚待核验。

为什么重要

过去评价决策模型,主要看它“行动得好不好”,即能否完成多步任务。这篇论文提出另一个视角:行动能力弱不代表判断能力弱。当模型在回合结束后看到完整轨迹,它能判断哪些步骤有贡献,这种事后裁判能力可以直接转成训练信号,用于强化学习。对长程 Agent 和多步推理研究来说,这意味着训练数据或奖励模型的来源不必局限于强行动者,弱行动者也可能产出有价值的教学信号。

对用户/开发者/创作者的影响

对开发者而言,如果这一结论在更多任务上成立,强化学习的策略优化可以更多利用已有模型的评判能力,而不必先训练一个强行动者。对使用 Agent 的应用开发者来说,这提示在设计评估和奖励机制时,应更关注“每一步是否有帮助”,而不只是最终任务是否成功。创作者和普通用户短期内不会直接感知到变化,因为这仍是论文层面的研究,尚未披露产品化或 API 计划。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 JEV 等决策模型在其他长程任务上能否复现类似提升;二是“事后裁判”这种训练方式是否会进入开源训练框架或主流强化学习工具链;三是社区对论文实验设置和结论边界的讨论,尤其是模型规模、任务分布变化后效果是否稳定。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 34870

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注