D&A框架用提示词解耦描述与评估,提升VLM零样本机器人进度估计

alphaXiv 收录的论文提出 D&A 框架,通过让视觉语言模型先客观描述视频场景、再对照显式成功标准打分,缓解零样本机器人进度估计中的确认偏差;该方法完全基于提示词,无需额外训练。

一句话看懂:alphaXiv 收录的论文提出 D&A 框架,通过让视觉语言模型先客观描述视频场景、再对照显式成功标准打分,缓解零样本机器人进度估计中的确认偏差;该方法完全基于提示词,无需额外训练。

事件核心:发生了什么

2026 年 11 月 2 日,alphaXiv 展示了一篇关于机器人奖励模型的论文。作者指出,现有视觉语言模型在零样本估计视频任务进度时容易产生“确认偏差”:给定任务指令后,模型倾向于假设执行正在成功,甚至把失败片段判为进展。直接提示前沿模型,往往退化成二分类成功检测器,难以刻画非线性的部分进展。

D&A 的做法是把进度估计拆成两步:Describer 先不看任务指令,仅根据视频生成对场景变化的一致描述;Assessor 再结合该描述和任务指令,先写出可观察的成功标准,然后对每个时间步打分。为减少遗漏,流程中还加入了实体抽取步骤。整套方法只依赖提示词,不收集真实机器人数据,也不针对每个基座模型做后训练。

作者构建了 D&A-Bench,包含 14 个双臂 YAM 任务、54 条轨迹(27 成功、27 失败),每条指令有 10 种改写。在 Gemini 3 Flash 上,D&A 的 Kendall τₐ 为 0.672,而同一模型的朴素提示为 0.438。摘要称该方法在多个任务、本体和基准上匹配或超过经过后训练的奖励模型。目前公开信息主要来自摘要与 AI Overview,完整实验细节仍需查阅论文。

为什么重要

机器人学习依赖奖励信号,奖励模型对“进展”的判断直接决定策略学到什么。用后训练方式提升奖励模型,需要昂贵的真实机器人数据和逐模型算力投入;D&A 提供了一条纯提示词的替代路线,若效果可复现,会降低零样本奖励建模的门槛,也会影响 VLM 在机器人强化学习中的使用方式。

对用户/开发者/创作者的影响

对机器人开发者,D&A 的思路可直接用于现有 VLM API:先描述、再对照明确标准打分,减少把“动作相似”误判为“任务完成”。对做视频理解或评估工具的开发者,这种“描述与评估解耦”的提示词结构也值得借鉴。但需注意,当前结论限定在论文给出的基准和模型上,不等于通用生产可用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文完整实验是否覆盖更多基座模型和真实机器人任务;二是纯提示词方案在长视频、多物体场景下的成本与稳定性;三是是否有开源实现或产品化工具跟进,以及下游强化学习效果能否被独立复现。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 32242

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注