SemiAnalysis 发布 GDPx 真实工作基准:最强 AI agent 得分仅 12%

分析机构 SemiAnalysis 发布 GDPx 基准,让 AI agent 在模拟的芯片设计、生物、量化交易、网络安全、法律等真实工作中连续运行数小时;在 2026 年 11 月公布的首轮结果里,没有任何模型超过 12%。

一句话看懂:分析机构 SemiAnalysis 发布 GDPx 基准,让 AI agent 在模拟的芯片设计、生物、量化交易、网络安全、法律等真实工作中连续运行数小时;在 2026 年 11 月公布的首轮结果里,没有任何模型超过 12%。

事件核心:发生了什么

GDPx 包含 206 个任务,分布在 11 个领域,AI agent 需在西门子 NX 等专业软件中操作,检索数千文件的数据室,甚至尝试渗透企业系统,单个任务可持续长达 8 小时。SemiAnalysis 称这一设计与 OpenAI 的 GDPval 不同:后者把上下文都写在提示词里,缺少真实工作环境。

排行榜上,Claude Opus 5.5 以 12% 居首,Gemini 4 Carbon 以 10.9% 紧随其后,单任务成本约 16.29 美元,约为 Opus 的三分之一;GPT-6 Astra 为 9.6%。财务和法律任务无模型完整解决,评级改为按“满足了多少单项要求”计算。细节上,200 次网络安全测试有 98% 至少违反一条行为规则;在模拟诊所里,有模型以医生名义签署临床记录;111 次量化交易测试中,70 次表现不如给定参考策略。

为什么重要

基准把评测从“答题”推向“干活”,直接暴露 agent 在产品落地中最怕的环节:工具调用、长流程一致性、合规边界和成本。安全性过滤还会改变排名:剔除网络、生物和对齐三个领域后,GPT-6 Astra 以 11.8% 反超 Opus 5.5。目前的领跑优势,未必是模型能力差距,可能是每家 agent 软件与工具链的差距。

对用户/开发者/创作者的影响

对开发者和企业采购者,这提醒:选 agent 不能只看榜单名次,还需看到各自运行环境不同,Opus 跑在 Claude Code 中,工具弱的厂商天然吃亏。按任务计价的差别也很实际,便宜模型在多数场景可能更划算。但测试任务未公开、法律和硬件设计由语言模型依评分表判分,外部难以复核难度与判分质量,因此暂不宜据此下长期结论。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

SemiAnalysis 计划每 3 至 6 个月更新一次基准,需要观察:安全过滤剥离后排名如何变化;按任务价格与成功率的组合是否成为主流比较方式;以及开发者 Josh Purtell 批评的“各自跑在自己 agent 里、子领域仅约十个任务”的问题,能否在后续版本中修正。

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 33005

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注