研究:Jev 1.13 决策模型让终端 Agent 成本升 19% 成功率未变

一篇待核验全文的论文摘要显示,在 Terminal-Bench 2.1 的 21 个留出任务上,给 Claude Sonnet 5.5 终端 Agent 外挂 Jev 1.13 决策模型后,单次尝试成本上升 19%,通过率却维持在 73.0%。这说明“会判断”和“能指导行动”之间还有明显落差。

一句话看懂:一篇待核验全文的论文摘要显示,在 Terminal-Bench 2.1 的 21 个留出任务上,给 Claude Sonnet 5.5 终端 Agent 外挂 Jev 1.13 决策模型后,单次尝试成本上升 19%,通过率却维持在 73.0%。这说明“会判断”和“能指导行动”之间还有明显落差。

事件核心:发生了什么

研究者在 2026 年 10 月公开的论文摘要中,固定同一套 Agent 循环,只替换控制器:无控制器、确定性规则、小模型 Claude Haiku 5.5、Jev 1.13,以及一个按 Jev 开发阶段选择频率采样的安慰剂组。在 21 个留出任务、315 次试验中,Jev 把每次尝试成本抬高 19%(几何均值比 1.19,95% 置信区间 1.02–1.36),通过率与对照组同为 73.0%。它比 Haiku 控制器便宜(比值 0.81),但比安慰剂组贵 22%。

离线评估中,Jev 对“是否该结束”的排序能力更好,AUROC 为 0.78,规则和小模型分别为 0.62 和 0.60;但它的概率校准很差:当它判断运行已完成时,平均置信度为 0.50,而实际 87% 的运行都通过了。换句话说,它常让 Agent 去验证本已正确的工作。所有控制器都没有选择放弃运行。

为什么重要

当前 Agent 架构流行把“停不停、验不验、换不换方法”这类小决策外包给更便宜的模型,以节省大模型推理成本。这项研究提示,决策信号本身有信息量,不等于能转化为有效干预。对做大模型 Agent 产品的团队而言,控制器不是免费增强件:它可能增加调用次数、验证步骤和算力开销,却不改变最终成功率。论文摘要也把问题指向校准与干预策略,而不是单纯换一个更聪明的决策模型。

对用户/开发者/创作者的影响

开发者接入决策模型 API 前,应把“成本/成功率”作为联合指标做 A/B 测试,而不是只看离线 AUROC。企业采购 Agent 方案时,需追问控制器是否引入额外推理调用、是否会触发无效验证。普通用户短期内不会感知明显变化,但如果厂商为控制成本而减少验证步骤,任务可靠性可能受影响。目前公开信息仅为论文摘要,未核验全文实验,也不代表已有产品上线。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Jev 团队是否公开校准修正方案,让完成概率更贴近实际通过率;二是后续实验是否覆盖更多任务类型和模型组合,验证 19% 成本增幅是否普遍;三是 Agent 框架厂商会不会把“控制器增益”纳入基准测试,避免只比较通过率。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29604

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注