GRSE 提出按组对比分配技能信用,多智能体技能演化在 HotpotQA 提升 6.7 F1

Hugging Face Papers 收录的论文提出 GRSE,用类似 GRPO 的组内对比方式,把多智能体团队里的共享奖励归功或归咎到具体的智能体与技能,而不是只看某个技能是否在轨迹中出现。

一句话看懂:Hugging Face Papers 收录的论文提出 GRSE,用类似 GRPO 的组内对比方式,把多智能体团队里的共享奖励归功或归咎到具体的智能体与技能,而不是只看某个技能是否在轨迹中出现。

事件核心:发生了什么

该论文关注一个具体问题:协作式语言模型智能体可以在不更新权重的情况下,通过修改可复用技能来变强,但前提是能把团队共享奖励追溯到真正负责的智能体与技能。作者指出,现有方法按“轨迹中是否出现某个技能”来分配信用,这并不等于责任归属——一个在成功运行中被激活的有害技能,仍可能拿到正向信用。

为此,论文提出 GRSE(Group-Relative Skill Evolution)。据摘要,它借鉴 GRPO 的思路,对同一问题在相同技能库下多次执行,通过比较这些执行结果来给智能体—技能对分配行为信用,并对失败做结构化诊断。在 HotpotQA 和 LoCoMo 两个任务上,使用两个开放权重执行者时,GRSE 在 HotpotQA 以及 LoCoMo 除开放域外的各类别上优于最接近的先前方法 MASkills;多跳问题上的提升最大,分别为 +6.7 和 +3.2 F1。论文称其收益来自更扎实的检索依据,而非无证据直接作答,学到的技能也能在多跳任务间迁移。

摘要还给出一个鲁棒性结果:从植入有害技能开始,GRSE 能对每个植入技能给出正确符号的信用,并恢复到干净技能库的分数(+6.3 分),而 MASkills 误判了两个,最终低于起点。以上信息仅来自论文摘要,未核验全文实验与同行评审状态。

为什么重要

多智能体协作里“奖励怎么分”一直是落地难点。如果信用分配失真,技能库会积累看似有效、实际有害的复用模块,团队越大越难纠偏。GRSE 把信用判断从“是否出现”改为“相对表现如何”,给技能演化提供了一个可操作的归因机制,也把 GRPO 这类相对比较思路从强化学习训练延伸到无权重更新的智能体技能维护上。

对开源智能体框架而言,这意味着技能库可以像可维护的资产一样迭代,而不是每次任务后笼统地全体加分。

对用户/开发者/创作者的影响

开发者若在搭建多智能体流水线,可以关注“同一问题多次执行 + 对比归因”的开销与收益:多次推理会增加推理成本,但换来的可能是更干净的技能库和更少的错误复用。使用 HotpotQA、LoCoMo 这类多跳问答与长对话记忆任务的团队,可以把它当作技能演化环节的参考方案。对企业侧,摘要中的鲁棒性结果意味着从脏技能库恢复的能力值得评估,但目前没有公开代码、API 或产品化信息,不宜直接作为生产选型依据。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是该方法是否开源,以及在更大模型、更多智能体数量下的表现;二是多次执行带来的算力与延迟成本是否可接受;三是 MASkills 等先前方法是否跟进类似对比归因,以及独立复现能否得到摘要中的提升幅度。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29656

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注