UC Berkeley 团队发布 Vero 基准：测试 AI 智能体能否构建形式化验证的软件仓库

事件核心：发生了什么

由 UC Berkeley、芝加哥大学、斯坦福大学、加州理工及亚马逊云科技等机构合作的团队，于近期推出名为 Vero 的评测基准，专门衡量 AI 智能体在仓库级别构建形式化验证软件的能力。Vero 包含 43 个基于 Lean 4 的多模块实例，这些实例源自 Python、Dafny、Verus 和 Coq 的真实项目，涉及 743 个需要评分的 API 和 2705 条形式化规范。

与只测试单体函数的传统基准不同，Vero 要求智能体面对两种模式：在 proof-only 模式下，智能体拿到的参考实现，只需补全证明；在 code-and-proof 模式下，需要先实现全部 API，再证明自己的代码满足规范。评测显示，最强配置 GPT-5.5（xhigh）配合 Codex，在 code-and-proof 模式下完整解决 27/43 个实例，在 proof-only 模式下解决 25/43 个实例。虽然单个规范的通过率分别达到 87.3% 和 85.8%，但仍有 10 个实例在所有配置下均无法解决。

为什么重要

AI 编程智能体已能改动整个代码仓库，并常以“所有测试通过”作为完成标志。但 Vero 的测试揭示了一个客观问题：常规单元测试只能覆盖程序员预设场景，形式化验证则提供机器可检查的数学证明。Vero 的设计将实现与证明的耦合关系变成核心考核点，这暴露了当前模型的一个关键短板——单个规范的证明不再是难点，难的是在多模块仓库中维持“构建一致性”：所有证明义务闭合、不引入公理漏洞、文件依赖关系完好。

团队发现，完整解决的 82 次运行中，智能体自行编写的辅助引理平均占据代码与证明模式下 73.6% 的证明行数，这说明成熟的智能体开始频繁复用引理库来降低重复证明压力。该基准向上游定义了一层此前未被量化的“长周期证明工程”能力，这层能力可能直接影响未来高可靠性工业软件（如航天、医疗、金融底层协议）能否引入 AI 辅助验证。

对用户/开发者/创作者的影响

对使用 AI 编程助手的开发者而言，这份报告带来了一个明确提醒：若你在开发安全性攸关系统，需要审慎对待 AI 给出的“全部通过”指令。Vero 的数据表明，即便最先进的模型也有 12% 以上的规范通过率缺口，可能留下规范未覆盖的隐含错误。Vero 目前完全开源，仓库脚手架基于 Lean 4，工具链成熟的 Go、Rust 或 Python 开发者可将其本地复现，作为自建验证工作流的参考基线。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对 AI 应用和 Agent 工具的提供方来说，Vero 直接提出了一个可复现的评估标准。如果你在开发形式化方法产品、智能体编程 IDE 或代码审查服务，可以把 Vero 的 43 个实例当作横向对比榜单，用于调试模型的长程规划能力和仓库级上下文处理能力。

值得关注的后续

第一，Vero 是否会联合更多仓库级验证语言（如 F*、Isabelle）扩大领域覆盖，当前源自定义程度偏高的 Lean 4 项目，扩展语言的难度仍需观察。第二，GPT-5.5 在 proof-only（25/43）模式低于 code-and-proof（27/43）的模式差异值得深挖，论文中的 17 匹配对显示实现自由反而可能简化证明，后续模型迭代会不会利用这一策略应付评测是一大观察点。第三，该基准是否有实际商业落地配套——例如云厂商将 Vero 集成到 CI/CD 流程中以自动阻挡带证明空洞的合并请求，这将直接决定它在企业软件供应链中的实用价值。

来源：Berkeley RDI：Blog（AI 安全与评测）