一句话看懂：Replit 发布 ViBench 2.0 基准，用来衡量 AI 智能体能否完成整个产品构建，而不是单步写代码。结果显示，最强模型能通过 98% 的测试计划，但最多只有 65% 的构建能交付完整可用产品。
事件核心：发生了什么
2026 年 11 月 5 日，Replit 在 arXiv 发布 ViBench 2.0。该基准面向“长周期软件构建”：17 个模拟常用软件的全栈 Web 产品，通过 241 个连续功能请求逐步搭建，只有全部完成后才像用户一样验收。浏览器智能体执行 544 个测试计划，每个构建必须通过所有计划才算成功。Replit 用它来选择平台所用的模型。
论文摘要称，团队评测了九个模型。最强三个模型最多通过 98% 的测试计划，但完整可用的构建最多占 65%；没有开源权重模型能交付完整产品。同一模型家族的三次迭代中，公开产品上的 pass@1 从 3% 升到 53%，单次构建成本下降超过一半。Replit 公开 8 个产品及评测工具，保留 9 个作为留出集。
为什么重要
现有编码基准大多评测单一、完全指定的任务，且部分已接近饱和，难以反映用户通过连续需求构建产品的真实过程。ViBench 2.0 把评测粒度从“写对一段代码”推到“交付一个可运行产品”，暴露出一个可靠性缺口：局部测试通过不等于端到端成功。对 AI 编程工具和智能体平台来说，这更接近真实生产指标，也会影响模型选型、推理成本和产品交付能力的评估方式。
对用户/开发者/创作者的影响
对开发者而言，基准公开了 harness 和 grader，可用于比较不同模型在连续需求下的稳定性，但应把结论限定在 2026 年 11 月论文摘要所述的任务与评测条件下，不宜当作永久排名。对使用 Replit 等 AI 应用构建产品的人，提醒是：自动化构建能通过大量子测试，仍可能在最终成品上失败，验收环节仍需人工把关。对企业采购，开源与闭源模型的差距值得关注，但“没有开源模型完整交付”仅是摘要所述评测范围内的结果。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Replit 是否将 ViBench 2.0 的评测结果用于平台模型切换，以及是否公开更多留出产品表现。二是其他 AI 编程工具和模型厂商是否跟进长周期、端到端构建评测。三是单次构建成本下降的趋势能否在更大模型范围内持续，开源模型何时能在该基准下完整交付产品。
来源：arXiv cs.AI
