EmbodiedLab 基准发布:机器人先动手实验再回答问题,最强模型成功率不足一半

Hugging Face Papers 收录的 EmbodiedLab 把“动手做实验才知道答案”变成可量化评测:机器人在物理模拟实验室里自选步骤操作仪器,评测它最终“知道了什么、做成了什么”。

一句话看懂:Hugging Face Papers 收录的 EmbodiedLab 把“动手做实验才知道答案”变成可量化评测:机器人在物理模拟实验室里自选步骤操作仪器,评测它最终“知道了什么、做成了什么”。

事件核心:发生了什么

据论文摘要(原始来源发布时间为 2026 年 10 月 26 日),研究团队提出 EmbodiedLab 基准。它覆盖 5 个学科、30 个实验、14 种实验装置平台;每个实例的系统参数重新采样,结果无法预先知道,但可精确打分。智能体只拿到目标与装置,需自行决定实验流程,通过摄像头读取仪表,在基于物理的模拟实验室中操作。

评测既检查智能体最终获得的知识(须与实验过程中记录到的读数对应),也检查任务要求的物理状态。摘要称每个实验都已验证可解。团队在开发者提供的编码代理环境中评测了 6 个前沿模型,并比较原生控制、加入感知与运动规划、以及从最强智能体蒸馏操作技能三种条件。

为什么重要

现有操作类基准大多停在“按给定目标改变状态”,科学发现类基准则常用符号动作或数值查询替代真实物理实验。EmbodiedLab 试图补上中间地带:改变世界状态只是手段,认知才是目的。这更贴近真实科研与工程调试,也对具身智能的感知、规划、操作和学习能力提出联合要求。

摘要给出的结果是:在原生控制条件下,最强智能体成功率也不到一半;对每个智能体而言,多数失败发生在与装置交互环节;操作技能对较弱智能体帮助更大,感知与规划增益相对有限。这提示当前大模型在编码代理中的能力,距离稳定完成物理实验仍有明显差距。需要说明的是,以上仅为摘要信息,并非经同行评审确认的永久排名,评测结论限于该基准与所测条件。

对用户/开发者/创作者的影响

对具身智能开发者,这是一个可复现的评测起点:基准与评测代码已在 GitHub 开源,可用于比较不同 VLA 模型、操作技能蒸馏和感知规划模块的贡献。对机器人应用团队,它提醒“会写代码”不等于“会做实验”,落地场景中的仪器操作、异常恢复和读数理解仍需专门训练。对关注科研自动化的用户,短期内更现实的用途是作为研究工具,而非可直接替代实验人员的产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是后续全文是否披露各模型分学科成功率与失败类型细分;二是社区是否基于该基准复现并扩展到真实机器人平台;三是操作技能蒸馏路线能否在更强模型上继续带来增益。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30331

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注