一句话看懂:arXiv 上一篇新论文提出 VagueBench,专门测试具身智能体在“语义不变、背景信息省略”的日常指令下是否还能正常执行任务;6 个主流智能体表现明显下滑,说明它们可能更依赖语言线索而非任务本身。
事件核心:发生了什么
论文作者指出,现有具身智能体评测多集中在危险指令和越狱攻击,却忽略了一个更常见的问题:人类交流经常省略非必要背景信息。他们把这类现象称为“环境上下文错觉”(Ambient Context Illusion),并基于 AI2-THOR 交互仿真环境构建了 VagueBench 基准。该基准覆盖实体、流程、约束和先验知识四类语义成分、九个子类型,包含 1,303 组指令对,通过“人类与智能体共同生成”的流程做语义冗余估计、分类变换和语义不变性校验。在 6 个当前先进的具身智能体上,其任务成功率相对下降 19.65%,空规划率相对上升 54.10%。作者还称该现象在真实机器人系统中同样存在,可能带来错误决策和安全风险。以上信息来自 2026 年 11 月 4 日发布的论文摘要,全文实验细节尚未核验。
为什么重要
这触及具身智能落地的一个基础问题:实验室里流畅完成的指令,换到真实家庭或办公室,用户很少会主动补齐背景。如果模型过度依赖额外语言提示,部署到开放环境后的可靠性就会被高估。对行业而言,评测维度从“会不会被诱导做坏事”扩展到“正常省略信息会不会做错事”,会推动数据构造、训练目标和安全评估一起调整。
对用户/开发者/创作者的影响
开发者需要关注指令理解模块对上下文的敏感度,在训练和评测中加入“省略背景”的样本,避免模型把冗余描述当成必要条件。企业采购机器人或智能体方案时,可要求供应商在实际场景中演示不完整指令下的表现,而不只看标准任务成功率。普通用户短期内不必改变使用习惯,但应理解当前系统的指令跟随能力仍有边界,关键操作需要明确确认。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 VagueBench 是否开源、能否被更多团队复现;二是后续工作是否给出针对性的训练或提示方法,降低这种上下文依赖;三是真实机器人实验的具体条件和安全影响,目前公开信息仅有摘要层面的描述,需要等待全文和同行评议。
来源:arXiv cs.AI


