Visa购物Agent首轮测评:22款AI大模型失败率42.8%

Visa 推出 Agentic Commerce Benchmark,让 12 家实验室的 22 款 AI 模型完成 15 项购物任务,首轮整体失败率 42.8%。这说明 AI Agent 在信息不全时“先问清再购买”的能力仍不稳定,直接影响电商与支付场景的落地节奏。

一句话看懂:Visa 推出 Agentic Commerce Benchmark,让 12 家实验室的 22 款 AI 模型完成 15 项购物任务,首轮整体失败率 42.8%。这说明 AI Agent 在信息不全时“先问清再购买”的能力仍不稳定,直接影响电商与支付场景的落地节奏。

事件核心:发生了什么

Visa 在 2026 年 11 月 5 日发布声明称,这项测试覆盖电视、笔记本电脑和个人护理电器等购买场景。用户不会一次交代全部需求,AI 需要通过对话补全预算、格式支持、HDR10+、游戏功能等条件;若没有合适商品,还要主动放弃购买,并给出足够信息支撑判断。每款模型对每个场景有三次尝试,全部三次通过的比例仅 34.2%,而 54% 的失败运行中 AI 仍然下了单。Visa 未公布模型名单,Fortune 报道称 Google 与 Meta 的 Agent 并列最高 82%,Claude 为 76%,OpenAI 为 64%。

为什么重要

这是支付网络公司首次用统一任务检验“代理购物”的可靠性。结果暴露出一个关键问题:模型答对一次不等于稳定可靠,同一场景重复测试时仍可能失败。对电商平台和支付机构而言,Agent 的信任门槛不只是“能不能买”,而是能否持续识别隐藏需求、在信息不足时停下来追问,并在不该买时明确拒绝。目前公开信息显示,Visa 计划把测试扩展到结账、支付和下单环节,说明其目标已从商品推荐延伸到交易闭环。

对用户/开发者/创作者的影响

对普通用户,AI 代购短期内仍更适合做筛选和比价,实际支付前保留人工确认更稳妥。对开发者,评测提示了几个优化方向:多轮追问机制、需求覆盖度校验、购买前的自检与拒绝策略,以及推理成本与准确率的平衡——测试中每轮最贵的五款模型通过率为 67.1%,最便宜的五款为 50.2%。对商家和内容创作者,商品信息越结构化、参数越完整,越有利于 Agent 正确匹配需求。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Visa 是否公布完整模型名单和分场景结果;二是结账与支付环节加入后,失败率是否因风控和授权流程上升;三是 Google、Meta、Anthropic、OpenAI 等厂商是否针对基准反馈迭代 Agent 能力。Visa 表示已在 Payments Frontier 网站开放测试,但基准结果只反映当前任务和评测条件,不宜视为永久排名。

来源:The Next Web

celebrityanime
celebrityanime
文章: 33047

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注