一句话看懂：OpenAI 向业界颇具影响力的 AI 编程评测基准 SWE-Bench Pro 公开开火，指出其 731 道公开题目中约 30% 存在评测缺陷。这导致模型的通过率在 8 个月内从 23% 窜升至 80%，但进步速度“异常”，基准本身已无法反映真实能力。
事件核心：发生了什么
OpenAI 于本周发表博文，系统性地批评了由 Scale AI 推出的 SWE-Bench Pro 评测体系。该基准专门用于测试大语言模型及 AI 代理的软件开发能力，因其贴近真实企业开发场景且反作弊标准严格，长期被视为行业标杆。
OpenAI 指出，行业顶尖模型的通过率在短短 8 个月内从 23.3% 飙升至 80.3%，这一“进步”速度极不正常。为验证猜想，OpenAI 启动了双重审查：数据点分析识别出 200 个问题任务（占 27.4%）；人工标注则识别出 249 个问题任务（占 34.1%）。交叉验证后，OpenAI 估计约 30% 的任务存在缺陷，包括测试过于严格、提示信息不足、测试范围过窄以及误导性提示。
OpenAI 举例说明：一道题目要求将内容转为 Markdown 时在行首增加一个空格，但隐藏测试却要求两个空格。模型按题目要求编写代码仍会被判错，这种“显式要求与隐式测试不一致”的情况直接导致评测失效。基于此分析，OpenAI 已正式撤回此前对 SWE-Bench Pro 的采用建议。
为什么重要
SWE-Bench Pro 作为 AI 软件工程能力的事实性评价标杆，其效果遭到公开挑战意味着整个行业的“军备竞赛”可能建立在失真的分数基础之上。当评测体系本身存在近三成的背景噪音时，厂商比拼的评测成绩越来越难以转化为实际工程能力。OpenAI 的行动揭示了当前 AI 评测一个结构性问题：过度依赖传统人类开发者的测试逻辑，而非针对 AI 代理设计的新评估框架。
对开源与闭源生态而言，一个失效的标杆会让资金和算力在错误的方向上重复投入，延缓从“刷分竞赛”向“真实工程能力评估”的转型。
对用户/开发者/创作者的影响
对于使用 AI 编程工具的开发者： 依赖 SWE-Bench Pro 分数选择模型的做法需要重新审视。被测模型在旧基准上得分大幅提升不代表日常开发场景的体验有同等进步，建议以实际项目中的代码补全、问题修复效果为判断标准。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对于企业用户： 采购 AI 编程助手时不应仅看公开基准排名，应关注厂商是否提供贴近自身代码库的定制化评估。目前公开信息显示，OpenAI 虽批评了现有基准但并未立即提出替代方案，企业需保持审慎。
对于评测工具开发者： OpenAI 的批评指向明确——未来新基准应由经验丰富的软件工程师专门为代理设计，而非简单复用人类开发的测试用例，这为下一波评估工具创新提供了方向。
值得关注的后续
第一，Scale AI 如何回应，是否公开承认缺陷并启动 SWE-Bench Pro 的大版本修复。第二，OpenAI 是否会牵头推出自己的评估替代方案，还是与第三方合作共建新基准。第三，其他大模型公司（如 Anthropic 和 Google DeepMind）是否会跟进批评或调整自身的评测策略，这将影响整个行业对于 AI 编程能力的共识。
来源：AIbase
