一句话看懂：Stripe 推出了一套用于评估 AI 智能体完成真实支付集成的基准测试，结果显示智能体在代码生成上表现不错，但在校验和状态恢复等关键环节漏洞明显，意味着用 AI 代替金融系统开发仍需谨慎。
事件核心：发生了什么
支付巨头 Stripe 发布了一套开源基准测试套件，专门用于评估 AI 智能体从头构建完整 Stripe 集成方案的能力。测试覆盖了后端服务、前端应用和浏览器端结账流程，共设置 11 个模拟真实 Stripe 项目的环境，包含完整代码库、数据库和 API 密钥。智能体通过基于 Goose 和 Model Context Protocol（MCP）的工具链操作，需要生成代码并运行服务、验证端到端行为。Stripe 软件工程师 Carol L 在 LinkedIn 指出，核心瓶颈在于验证而非代码生成。分项评测中，Claude Opus 4.5 在四类全栈 API 任务中平均分达 92%，GPT 5.2 在两类标准化任务中得分 73%，但整体成功率未被公布。
为什么重要
这项基准测试揭示了 AI 智能体在工程化落地中的真实边界。多数现有评测仍停留在代码生成层面，而 Stripe 的测试直接模拟了金融系统对正确性的严格需求，暴露出两个高频故障模式：其一，智能体会误判校验反馈信号，当收到预期的 HTTP 400 报错时错误地认为集成运行正常；其二，在浏览器端结账流程中，工具交互会破坏浏览器状态（如移走输入框焦点），智能体往往不能恢复操作而提前终止任务。从业者指出，幂等性、重试机制、授权报错等生产环境的关键问题，在多数评测中尚未被覆盖。这意味着 AI 智能体当前在需要跨系统校验与状态追踪的任务上准确度会明显下降，难以支撑金融级应用的交付。
对开发者/企业的影响
对使用 Stripe 的开发者而言，直接依赖 AI 智能体完成支付集成的风险依然很高。虽然智能体在后端 API 集成表现较强，但其在浏览器端流程和多步骤交互中的不稳定性意味着，人工审核和测试仍是必不可少的环节。对企业采购决策者来说，该基准测试表明选择 AI 开发工具时不能只看“代码生成率”，更应关注校验逻辑覆盖率和异常恢复能力。Stripe 已将基准测试套件作为 AI 工具包的一部分开源，开发者可以自行复现测试，评估不同模型在自己项目中的实际表现。
值得关注的后续
首先，该基准测试已开源，后续版本计划优化模糊校验信号处理、浏览器状态控制以及端到端集成准确率，这将是衡量 AI 智能体能力提升的重要刻度。其次，Stripe 未公布总体成功率，且模型长时序任务执行中正确性下降，这意味着大模型在处理超过 60 轮交互的任务时，可靠度仍是未知数。最后，其他金融基础设施公司或会跟进类似的“真实环境”评测标准，推动 AI 智能体从实验室走向生产的评估体系走向成熟。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
来源：InfoQ CN
