新基准AppSci-Bench:让大模型自己搭AI智能体,最强模型仅59.1%

arXiv 新论文提出 AppSci-Bench,考察大模型能否像应用科学家那样为业务“从零搭建并改进”AI 智能体;7 个前沿模型中表现最好的 Claude Opus 5.0 三次尝试的均分最低值只有 59.1%,说明这项能力仍远未成熟。

一句话看懂:arXiv 新论文提出 AppSci-Bench,考察大模型能否像应用科学家那样为业务“从零搭建并改进”AI 智能体;7 个前沿模型中表现最好的 Claude Opus 5.0 三次尝试的均分最低值只有 59.1%,说明这项能力仍远未成熟。

事件核心:发生了什么

据 arXiv cs.AI 于 2026 年 11 月 20 日发布的新论文摘要(编号 2611.25360),研究者构建了 AppSci-Bench 评测集。它模拟企业里应用科学家搭建智能体的流程:先从利益相关方处问清任务要求,摸清业务基础设施,再通过设计实验和内部基准来科学地改进目标智能体。评测覆盖 7 个真实业务域,其中 5 个为新增场景——幻灯片生成、订单到收款、合规审查、客服通话洞察、CRM 洞察,另外两个由 tau3-bench 改造而来(航空与银行)。每个域都配有该任务专属的留出评测套件。作者评测了 7 个前沿模型,最佳成绩为 Claude Opus 5.0 在 3 次搭建尝试下的平均最低分 59.1%。目前公开信息显示,这仅基于论文摘要,全文实验细节尚未核验。

为什么重要

现有基准大多测“智能体好不好用”,AppSci-Bench 转而测“大模型会不会造智能体”,把需求澄清、环境探查和科学调优纳入评测。这是企业落地 AI 应用的关键环节:很多公司缺的不是调用 API,而是能把业务需求转化成可用智能体的人。摘要显示,模型在需求获取上仅 65% 左右,还容易“自评饱和”——模型让自己设计的内部评测达到 65% 的高分,却解决不了留出任务。这意味着开发者若直接依赖大模型自动搭建生产级应用,风险仍然明显。

对用户/开发者/创作者的影响

对企业采购方,这一结果提示“让大模型全自动交付业务智能体”暂不宜作为采购预期,人工把关需求梳理与验收仍是必要环节。对开发者,基准中的内部评测与留出评测脱节问题值得警惕:自建评估集容易过拟合,跨域泛化需要更严谨的设计。对内容与创作者工具类场景(如幻灯片生成),大模型的搭建能力尚未达到稳定可用水平,短期更适合人机协作而非完全托管。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是后续版本是否公布完整实验与更多模型对比;二是社区是否基于开源基准代码复现并扩展新业务域;三是模型厂商是否针对“需求澄清”和“留出任务泛化”做专项优化。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36166

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注