OpenAI 审计 SWE-Bench Pro 发现约 30% 的评测任务存在缺陷

一句话看懂：OpenAI 对前沿代码评测基准 SWE-Bench Pro 进行详细审计后，发现约 30% 的任务存在缺陷，包括测试过严、提示不完整等问题。这意味着当前基于该基准报告的模型代码能力分数可能存在水分，开发者与研究者依赖的评测信号需要重新审视。

事件核心：发生了什么

2025 年 7 月 8 日，OpenAI 发布审计报告，指出流行代码能力评测基准 SWE-Bench Pro（公开版含 731 个任务）存在系统性问题。通过自动化筛选与人工复核（5 名资深工程师独立评审），审计发现约 30% 的任务存在缺陷：测试指令过于严格、任务提示未包含全部必要信息、测试覆盖不足，或提示词误导模型走向错误解法。此前，OpenAI 已发现另一个基准 SWE-bench Verified 存在设计缺陷与数据污染问题，并推荐社区转向 SWE-Bench Pro。此次审计说明，升级后的评测体系同样未能提供可靠的能力刻度。

为什么重要

评测基准是衡量大模型能力的“尺子”。当尺子不准确时，模型性能的进步可能被夸大或误判。OpenAI 明确表示，在自身《准备工作框架》下，评测结果直接影响模型是否达到部署安全门槛。SWE-Bench Pro 在 8 个月内将前沿模型的通过率从 23.3% 推高至 80.3%，但若近三分之一的题目本身就有问题，这一速度背后有多少“水分”就值得商榷。对整个行业而言，这提醒所有人：当前许多“零代码”或“自主编程”能力测试的结果，可能主要反映了基准设计的弱点，而非模型真正的工程交付能力。

对用户/开发者/创作者的影响

对于使用大模型进行代码生成的开发者，应当理性看待各厂商宣传的“SWE-Bench”分数，它并不直接对应实际项目中的修复成功率。对于评测平台与模型开发者，此次审计强化了一个趋势：依赖人工和静态数据集发布的评测将逐步被淘汰，未来需要更灵活的“动态评测”或“持续审计”机制。OpenAI 已在内部开发了基于 Codex 智能体的审计流水线，这本身意味着评测基础设施本身也需要用 AI 来维护。普通用户暂时感受不到直接影响，但长期来看，更可靠的评测将推动模型在实际软件工程中的准确率提升。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

目前公开信息显示，OpenAI 并未建议立刻废弃 SWE-Bench Pro，但明确提醒模型开发者仔细核查各自提交的结果。值得关注的三点：一是其他评测机构（如 EvalPlus、HumanEval 维护者）是否会跟进类似审计；二是 OpenAI 是否会将这种自动化审计工具开放给第三方使用，以重塑评测生态；三是模型厂商是否会调整训练或评估策略，回避被污染的测试集，从而让分数更接近真实能力。

来源：OpenAI News