一句话看懂：arXiv 上一篇新论文指出，LLM 生成代码的“验证通过率”会掩盖两层失效：证明义务未必绑定到规格，而规格也未必忠实于真实需求。作者用两组实验显示，高通过率与低语义正确性可以同时存在。
事件核心：发生了什么
2026 年 11 月 5 日提交至 arXiv cs.AI 的论文将“已验证代码”拆成三个层面：验证器接受（Surface A）、语法性规格绑定（Surface B，即证明义务是否绑定到规格定义的谓词或函数）、语义性规格忠实（Surface C，即规格是否捕捉到非形式化需求）。
第一组实验用 Li@Opus 在 Claude Opus 4.7 上复现 Dafny 作为中间表示的管线，跑三个 Python 基准：HumanEval 上验证器接受率为 99.1%，但只有 1.9% 的样本携带绑定到规格谓词或函数的证书。第二组实验用作者自研的 VCG 管线处理两个 Rust 基准，结构验证通过后仍有 11.48%（MBPP-Rust）和 14.82%（VeriContest LC 切片）的样本未通过隐藏测试；在 VeriContest LC 切片上，VCG 报告的端到端率为 7.79%（535/6870）。摘要提及的外部对比为 GPT-5.5 的 5.51% 与单次 Opus 4.7 的 1.88%，作者明确说明任务预算、修复和测试框架差异导致不能做匹配性能比较。目前公开信息仅来自论文摘要，全文实验细节尚未核验。
为什么重要
这触及 LLM 代码生成商业化的一个核心问题：如果验收只看单一“验证通过”数字，下游容易把形式验证误当成正确性保证。论文的价值在于把问题拆成可审计的检查点，而不是给出新的排名。对使用 Dafny 等中间表示做推理增强的产品路线而言，Surface B 的缺口意味着“有证书”不等于“证书对题”；对评测基准和模型厂商而言，单指标摘要会系统性高估模型能力。
对用户/开发者/创作者的影响
开发者若在管线中引入形式验证，应把规格绑定检查和隐藏测试作为独立门禁，而不能把验证器接受率当合同指标。使用 AI 编程助手的企业采购方，评估供应商时需要追问验证覆盖的是哪一层，是否披露类似 1.9% 这样的绑定比例。对基准维护者来说，这意味着 HumanEval 一类结果需要附带验证语义说明，否则跨模型比较缺乏可比性。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否公开更完整的实验配置，以及 Li@Opus 与 VCG 能否复现；二是后续基准是否把 Surface B/C 纳入标准报告字段；三是主流 AI 代码工具会否在产品说明中区分“验证通过”与“规格忠实”。
来源：arXiv cs.AI
