物理工程基准PLE发布:前沿Agent最高仅50.6%,单任务耗时63分钟

arXiv 新论文提出 PLE 基准,用 85 个长周期、多格式的物理工程任务检验 AI Agent 能否交付可被执业工程师签署的真实设计成果。目前公开信息显示,最强配置平均分仅 50.6%,与自主完成工程交付仍有明显差距。

一句话看懂:arXiv 新论文提出 PLE 基准,用 85 个长周期、多格式的物理工程任务检验 AI Agent 能否交付可被执业工程师签署的真实设计成果。目前公开信息显示,最强配置平均分仅 50.6%,与自主完成工程交付仍有明显差距。

事件核心:发生了什么

该论文(arXiv:2610.30537,2026 年 10 月 23 日发布)指出,前沿大模型在常见知识基准上已普遍超过 90%,但尚无基准检验它们能否完成专业物理工程师的经济性工作:跨多格式项目资料建模物理与法规条款、优化材料与安装成本、出具可交由持证审核人签署的 2D/3D 设计包。PLE 覆盖电气、土木、结构与机械四个方向,共 85 个长周期 Agent 任务,每个任务对应一份可计费的工程交付物。任务一部分由执业工程师从零撰写,另一部分由工程师出题后经“Creator-Solver”对抗式管线构建真实项目环境、可执行评分器与参考答案,再由专家验证并加难。研究在七种公开 Agent 框架下评测多种前沿模型,最强配置平均得分 50.6%,平均每任务消耗 2700 万 token、耗时 63 分钟。

为什么重要

这组数字给“Agent 能替代专业工作”的说法提供了一个具体反例:知识问答、孤立工具调用和玩具设计题已趋于饱和,但真实工程交付涉及多方约束、法规合规和成本权衡。PLE 把评测对象从“会不会答题”推向“能不能交付”,也把评分标准锚定在持证工程师的验收习惯上。对模型厂商和 Agent 框架开发者而言,这意味着下一阶段的竞争点不在基准刷分,而在长上下文、多工具编排、跨格式理解与结果可审计性。

对用户/开发者/创作者的影响

开发者在做工程类 AI 应用时,应把“可被人类专家复核”作为产品设计前提,而不是追求单点问答准确率;API 调用的成本和时延也需要按长任务重新估算,63 分钟和千万级 token 说明推理算力开销不可忽视。企业采购方目前公开信息显示,不宜将此类 Agent 视作可独立出图的工程工具,更合理的定位是辅助建模、规范检索与方案草拟。内容创作者则需注意,这项评测针对的是物理工程设计交付,并非通用写作或图像生成能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 PLE 是否会被社区扩大任务规模或公开完整评测细节;二是各大模型与 Agent 框架在后续版本中能否显著提升分数,尤其是降低 token 消耗和任务时长;三是这类基准是否会推动工程软件厂商把合规校验、成本优化能力做成可调用的 API 或插件。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29736

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注