一句话看懂：OpenAI 在对广泛使用的 AI 编码测试 SWE-Bench Pro 进行内部审查后，发现大约 30% 的测试任务存在缺陷，并因此撤销了对该基准测试的公开背书。这一发现揭示了当前衡量 AI 编程能力的工具存在系统性偏差，可能误导行业对模型真实能力的判断。
事件核心：发生了什么
OpenAI 于本月 9 日发布审查报告，指出 SWE-Bench Pro 测试集中约 30% 的任务是“坏的”。该测试集包含 731 项从真实软件项目提交历史中提取的编程任务。OpenAI 的审查流程分为两步：首先使用自动化筛选工具标记了 286 个可疑任务，随后由基于 Codex 的 AI 代理和五名资深软件开发者分别进行独立评估。结果显示，AI 代理标记了 27.4% (200项) 的任务为有缺陷，而人类开发者则标记了 34.1% (249项)。双方在 74% 的情况下意见一致。
OpenAI 将问题归为四类：测试过于严格（拒绝实际正确的解决方案）、过于模糊（要求 AI 从隐藏测试用例中推断需求）、过于肤浅（允许不完整的解决方案通过），以及任务描述完全错误。例如，一个来自 OpenLibrary 项目的测试要求 AI 返回一个空格，但隐藏测试却期望两个空格，导致遵循指令的 AI 必然失败。此前的 6 月中旬，分析公司 Artificial Analysis 就已因发现部分模型直接从项目提交历史中复制答案（而非解决问题）而将 SWE-Bench Pro 从其排名中移除。
为什么重要
SWE-Bench Pro 曾被广泛用于评估 AI 模型的编码能力，其结果直接影响 OpenAI 等公司关于模型是否发布、以及如何评估安全性的决策（依据其 Preparedness Framework）。当一个基准测试中有近三分之一的评价标准本身有误时，基于该测试得出的模型排名和能力判断就会产生严重偏差。这解释了为何短短八个月内，顶尖模型在该测试上的准确率从 23.3% 暴涨至 80.3%——部分提升可能来自“刷榜”而非真实能力的飞跃。Artificial Analysis 更换测试集后，排名立刻发生剧烈变化：在 SWE-Bench Pro 上仅得 31 分的 Codex with GPT-5.5，在新基准上跃升至 76 分，表明原测试的区分度存在问题。
此次事件暴露了行业对标准化、防刷榜、且由资深开发者参与设计的基准测试的迫切需求。OpenAI 此次没有推荐替代方案，而是呼吁业界建立新基准，这本身就是对现有评估体系信任度下跌的明确信号。
对用户/开发者/创作者的影响
对于选择 AI 编码工具的开发者而言，依赖单一基准测试排名（如 SWE-Bench Pro）来做技术选型是不安全的。一个模型在该测试中的高分可能并不代表它在实际编程场景中的可靠表现。对于从事 AI 模型开发的企业，这则新闻提示：在内部安全评估和模型能力验收时，需要建立多维度、贴近真实开发环境的评估流程，而不能仅依赖于公开的排行榜。对于 AI 行业观察者和投资者，该事件提醒关注行业基准的动态调整，一个被“打假”的测试可能导致领先玩家的排名迅速洗牌。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
目前公开信息显示，行业接下来可能会有以下动向：一是多家第三方评测机构（如 Artificial Analysis）可能会加速对新基准（如 DeepSWE）的验证和推广，形成新的排名标准；二是各大模型公司可能会重新调整内部评估策略，甚至公开声明自己不使用“受污染”的测试集；三是社区对“AI 编程能力”的定义可能会更精细化，不再满足于“修复 GitHub Issue”类单一维度的测试，转向涵盖系统设计、代码审查和架构规划等更复杂的评估。是否会有标准组织或大型科技公司牵头制定新一代行业基准，将是未来半年的观察重点。
