自进化智能体暗藏脆弱性:技能漂移可抹去过半增益

arXiv 新论文指出,技能与策略协同进化的智能体在部署后若技能库发生漂移,性能可能大幅下滑,最坏情况下会抹去相对无技能基线 52% 至 93% 的增益。论文提出 CODA 评测协议来审计这一盲区。

一句话看懂:arXiv 新论文指出,技能与策略协同进化的智能体在部署后若技能库发生漂移,性能可能大幅下滑,最坏情况下会抹去相对无技能基线 52% 至 93% 的增益。论文提出 CODA 评测协议来审计这一盲区。

事件核心:发生了什么

2026 年 10 月 16 日发布于 arXiv cs.AI 的论文《Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents》提出,当前自进化智能体的评测方式存在系统性盲区。这类系统在训练时让策略模型与技能库互相提升,评测通常只看最终训练出的“交付技能库”上的表现。但部署后技能可能被更频繁地改写、增加或删除,策略模型不会同步重训,于是它实际面对的是一个漂移后的技能库。

作者从理论和实验两方面论证,这种脆弱性并非偶然。现有协同进化方法共用的“合作式接受规则”把策略能力绑定在共同进化的技能库上,一旦技能漂移,任何实现都会变得脆弱,且这种敏感度随训练推进而增加。论文据此提出 CODA(协同进化漂移审计)评测协议,引入最坏漂移下的成功率、语义保持编辑下的一致性率、对损坏技能的抵抗率三个指标。在四类协同进化方法和五个基准、六种设置中,最坏成功率比各交付组合的峰值低 5 至 13 个百分点。目前公开信息仅为论文摘要,全文实验未经独立核验。

为什么重要

技能库已成为智能体扩展能力的主流工程手段,开发者通过增删技能快速迭代 AI 应用,而不必每次重训底层大模型。如果论文结论成立,那么当前协同进化的收益可能被高估:评测高分并不等于部署可靠。这会影响智能体框架、开源技能生态和闭源 Agent 产品的评估标准,也提示“技能热更新”需要与策略稳定性解耦设计。长期看,CODA 这类面向部署的审计协议可能成为技能型智能体的通用测试项。

对用户/开发者/创作者的影响

对开发者而言,依赖技能库热插拔的 Agent 系统需要增加漂移测试,关注策略在技能被改写或删除后的表现,而不仅在最终技能库上跑分。对使用 AI 应用的用户,短期内不必恐慌,但应留意厂商宣传的自进化能力是否覆盖部署后的技能变化。对创作者和企业采购方,评估 AI 工具时可将“语义保持编辑下的一致性”和“损坏技能抵抗”纳入选型清单,而不是只看基准成功率。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 CODA 是否被主流智能体框架或评测平台采纳;二是后续研究能否给出防漂移的策略训练方法,而非只做检测;三是相关开源与闭源 Agent 产品是否会披露技能漂移后的稳定性数据。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29285

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注