Hugging Face论文:在线策略蒸馏会隐性改变大模型Agent的ReAct交互模式

一篇发布在 Hugging Face Papers 的论文摘要指出,在线策略蒸馏(OPD)在向语言模型 Agent 迁移专项能力时,会重塑其 ReAct 交互习惯,跨领域还可能出现明显负迁移。这提醒开发者:蒸馏不只是在“教知识”,也在改 Agent 的调用工具和取信息方式。

一句话看懂:一篇发布在 Hugging Face Papers 的论文摘要指出,在线策略蒸馏(OPD)在向语言模型 Agent 迁移专项能力时,会重塑其 ReAct 交互习惯,跨领域还可能出现明显负迁移。这提醒开发者:蒸馏不只是在“教知识”,也在改 Agent 的调用工具和取信息方式。

事件核心:发生了什么

该论文摘要聚焦 OPD 对 ReAct 模式的影响,考察数学、ALFWorld 和 τ²-bench 三类任务中的推理、动作与观察获取。摘要显示:用通用推理监督后,数学任务尝试工具的比例从 70.4% 降到 14.4%,准确率则从 16.7% 升到 38.0%;代码解释器监督能改善家务动作和零售查询。相反,ALFWorld 监督使 τ²-bench 准确率从 41.5% 跌至 6.6%,并出现频繁调用工具、违反用户信息依赖的情况。作者还尝试用领域强化学习前后教师偏好变化来筛选 OPD 位置:保留前 95% 后,τ² 准确率从 11.5% 升至 29.9%,但源域学习存在权衡。以上均为摘要层面的信息,全文实验尚未在素材中核验。

为什么重要

对 Agent 开发来说,OPD 不仅是能力迁移,也会改变模型“何时思考、何时调用 API、如何提问”的行为分布。跨任务微调有可能把某个环境的工具使用习惯带到另一个环境,造成负迁移。论文提出用教师偏好变化做选择性蒸馏,为减少这种副作用提供了一条可观察的思路,但目前仍停留在研究阶段。

对用户/开发者/创作者的影响

开发者若用蒸馏或强化学习微调 Agent,需要把交互轨迹本身纳入评测,而不只看最终答案准确率。尤其在多工具、多轮查询场景中,过度调用工具或跳过必要追问会直接影响用户体验。企业采购或自建 Agent 时,可关注供应商是否披露跨任务迁移测试;创作者使用 Agent 工具时,也应留意其在数学、检索、电商等不同任务间切换时行为是否稳定。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

可观察三点:选择性 OPD 能否在更多任务上复现收益并降低源域损失;负迁移是否与具体工具调用策略相关;该方法是否会进入开源 Agent 训练框架或 API 服务商的微调方案。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注