BEHAVIOR-Spatial基准发布:机器人会答题不等于听话,指令换目标后成功率仅16.1%

alphaXiv 收录的论文提出 BEHAVIOR-Spatial 基准,把空间问答、目标点定位和机器人动作放在同一任务上测,发现“任务完成”并不等于“按指令执行”。

一句话看懂:alphaXiv 收录的论文提出 BEHAVIOR-Spatial 基准,把空间问答、目标点定位和机器人动作放在同一任务上测,发现“任务完成”并不等于“按指令执行”。

事件核心:发生了什么

论文在 BEHAVIOR-1K 仿真家庭环境中构建了三部分评测:49 个活动上的 3,256 道四选一空间问答题;14 个操作任务上的 1,240 条点式目标定位查询;以及覆盖 14 个操作任务和 10 个导航任务的动作测试。空间概念围绕方向、距离和大小,部分问题需要跨机器人旋转或导航的多帧信息。关键设置是“场景不变、指令改变”:固定训练布局,但要求机器人换一个目标。摘要给出的基线在留出配置上成功率为 41.6%,指令变更后降到 16.1%。加入视觉目标提示后分别升至 60.3% 和 38.0%,而 VLM 适配与机器人数据预训练带来的提升有限。目前公开信息仅基于论文摘要,并非已上线产品。

为什么重要

过去用任务完成率评估 VLA 策略,容易把“记住熟悉动作”误当成“理解空间指令”。该基准把视觉语言模型的空间问答、点定位和动作执行关联起来,摘要还指出感知表现与操作表现的相关性依赖于具体策略。对做具身智能的团队来说,这意味着单独刷 VQA 分数不能证明机器人听得懂话,评测需要拆开看“会不会答”“指不指得对”“做不做得对”。

对用户/开发者/创作者的影响

开发者可把留出场景与指令替换两种条件分开测试,尤其关注目标变化后的重定向能力,而不是只对固定布局调参;机器人数据预训练并非万能,视觉目标提示虽有帮助但不能保证可靠完成。做仿真数据或评测工具的内容创作者,也可围绕共享任务上下文设计更细的中间指标。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整实验细节与基线代码,便于复现 41.6% 和 16.1% 这两组数字;二是后续 VLA 方法在“换目标”条件下能否明显缩小差距;三是真实机器人场景中的表现是否与仿真结论一致。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 30312

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注