一句话看懂：IBM研究院用同一个开源模型GLM-5.3-flash在90个AppWorld任务上对比三种Agent框架，CUGA完成73个，Hermes完成42个，Deep Agents仅27个。这组数据说明：企业级Agent的差距，很大程度上来自外层框架而非模型本身。
事件核心：发生了什么
2026年11月3日，IBM研究院在Hugging Face博客发布社区文章，介绍开源Agent框架CUGA（ConfigUrable Generalist Agent），并公布一项受控实验：固定模型GLM-5.3-flash不变，仅更换框架，在AppWorld基准的90个任务、30个场景上各跑一次。结果显示，CUGA通过73个任务（81.1%），Hermes为42个（46.7%），LangChain的Deep Agents为27个（30.0%）。若以场景内所有变体全部通过为准，CUGA为20个场景，Hermes为8个，Deep Agents仅2个。文章同时承认局限：样本仅90个任务、配置并非完全一致、未测试策略执行。
为什么重要
框架列表已收录近200个Agent harness，行业讨论常聚焦模型选型，而这项实验把变量锁定在框架层。对需要让Agent操作CRM、支付等多应用API的企业来说，任务稳定性比单次运气更重要，SGC（场景全通过率）恰恰放大了这一差距。CUGA的定位也清晰：面向企业自有环境、支持开源模型和主权云及隔离部署，并强调由框架强制执行规则，这是Hermes（个人常驻助手）和Deep Agents（长链路研究任务）未覆盖的场景。
对用户/开发者/创作者的影响
开发者选型时不应只问“哪个框架最强”，而应先明确工作负载：多应用API操作型任务可优先评估CUGA的规划、工具筛选与执行前验证机制；个人助理类需求仍可考虑Hermes；需要长链推理的研究型任务则适合Deep Agents。企业采购方需注意，本次评测未覆盖策略执行和合规约束，目前公开信息显示这些是CUGA的额外卖点而非已验证指标。对普通用户而言，短期内影响有限，但Agent产品完成率的提升会逐步体现在自动化工具的可靠性上。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是CUGA是否公布更大规模、配置统一的复测结果，尤其是策略执行相关的评测；二是Hermes和Deep Agents是否针对多应用API场景补强中间件与工具筛选能力；三是企业部署形态（主权云、离线环境）能否成为差异化竞争点，以及是否有更多厂商跟进“同模型比框架”的评测范式。
