VagueBench 测试具身智能体:指令省略背景后成功率降约两成

arXiv 上一篇新论文提出 VagueBench,专门测试具身智能体在“语义不变、背景信息省略”的日常指令下是否还能正常执行任务;6 个主流智能体表现明显下滑,说明它们可能更依赖语言线索而非任务本身。

一句话看懂:arXiv 上一篇新论文提出 VagueBench,专门测试具身智能体在“语义不变、背景信息省略”的日常指令下是否还能正常执行任务;6 个主流智能体表现明显下滑,说明它们可能更依赖语言线索而非任务本身。

事件核心:发生了什么

论文作者指出,现有具身智能体评测多集中在危险指令和越狱攻击,却忽略了一个更常见的问题:人类交流经常省略非必要背景信息。他们把这类现象称为“环境上下文错觉”(Ambient Context Illusion),并基于 AI2-THOR 交互仿真环境构建了 VagueBench 基准。该基准覆盖实体、流程、约束和先验知识四类语义成分、九个子类型,包含 1,303 组指令对,通过“人类与智能体共同生成”的流程做语义冗余估计、分类变换和语义不变性校验。在 6 个当前先进的具身智能体上,其任务成功率相对下降 19.65%,空规划率相对上升 54.10%。作者还称该现象在真实机器人系统中同样存在,可能带来错误决策和安全风险。以上信息来自 2026 年 11 月 4 日发布的论文摘要,全文实验细节尚未核验。

为什么重要

这触及具身智能落地的一个基础问题:实验室里流畅完成的指令,换到真实家庭或办公室,用户很少会主动补齐背景。如果模型过度依赖额外语言提示,部署到开放环境后的可靠性就会被高估。对行业而言,评测维度从“会不会被诱导做坏事”扩展到“正常省略信息会不会做错事”,会推动数据构造、训练目标和安全评估一起调整。

对用户/开发者/创作者的影响

开发者需要关注指令理解模块对上下文的敏感度,在训练和评测中加入“省略背景”的样本,避免模型把冗余描述当成必要条件。企业采购机器人或智能体方案时,可要求供应商在实际场景中演示不完整指令下的表现,而不只看标准任务成功率。普通用户短期内不必改变使用习惯,但应理解当前系统的指令跟随能力仍有边界,关键操作需要明确确认。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 VagueBench 是否开源、能否被更多团队复现;二是后续工作是否给出针对性的训练或提示方法,降低这种上下文依赖;三是真实机器人实验的具体条件和安全影响,目前公开信息仅有摘要层面的描述,需要等待全文和同行评议。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 32523

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注