一句话看懂：alphaXiv 在 2026 年 10 月 22 日介绍了一个面向智能体场景的离线视觉基准 AgentVQA，用 1000 道人工筛选的选择题覆盖五大领域；在 22 个被测模型中，最好的 Gemini 3.7 Flash 仅答对 58.5%。
事件核心：发生了什么
AgentVQA 是一个离线视觉问答基准，思路是把网页操作、机器人、第一人称视频、游戏、空间规划这五类真实智能体场景，整理成每个领域 200 道、共 1000 道多项选择题，输入可以是单图、多图、视频帧序列或视频。题目由 23 个来源数据集汇总而来：先用 Gemini 2.5 Pro 构造“看起来合理但错误”的干扰项，再由 Gemini 和 Claude 自动删掉约 45% 的候选，人工审核员又拒掉约 60% 的剩余样本，最终只有约 22% 的初始候选保留下来。
为什么重要
真实环境里跑智能体评测成本高、复现难，普通视觉问答又测不出“看图做决策”的能力。AgentVQA 的价值在于提供一个可重复的离线对照，且在 12 个共同模型上，其空间规划领域与在线交互评测 SpatialWorld 物理赛道的 Spearman 相关系数达到 0.895，说明离线排名与在线表现有一定一致性。论文摘要中的跨领域分析指出，模型出错主要出在视觉状态理解上：定位界面元素、理解运动、跟踪状态变化、推断 3D 空间关系，而不是把任务理解错或后续推理出错。
对用户/开发者/创作者的影响
对开发者和企业来说，这个基准提示了选型方向：面向网页自动化、机器人控制或交互式内容的视觉模型，需要重点考察界面元素定位和时空状态跟踪，而不只看通用视觉问答分数。对做智能体产品的团队，AgentVQA 的构造方式也可参考，比如用难负样本加人工复核来提升评测区分度。目前公开信息仅来自摘要和论文页面，未见其作为独立产品上线或整合进现有评测平台的说明。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该基准是否开源、题目是否公开，以便第三方复现；二是后续模型迭代能否在 GUI 定位和空间推理这两类错误上明显改善；三是离线排名与更多在线交互评测的一致性是否稳定，这决定了它能否被广泛用作智能体视觉能力的参考指标。
来源：alphaXiv
