一句话看懂：OpenAI 发布 GPT-6 Astra 时宣称其在 ARC-AGI-3 测试中达成 99.9% 的“AGI 级”得分，但该测试的出品方 ARC Prize 用标准评测工具复测后得分仅为 62.7%。差距源于测试用“脚手架（harness）”不同，而非模型本身能力突变。
事件核心：发生了什么
ARC Prize 在 GPT-6 Astra 发布当天公布了两组对照数据：使用其自研的标准测试框架，Astra 在最高推理强度下得分为 62.7%，测试成本约 2.6 万美元；而使用 OpenAI 提供的 Provider Adapter 适配器，在“高推理”设置下得分达到 99.9%，成本反而更低（约 1.88 万美元）。更值得注意的是，在 OpenAI 自家适配器中将推理强度直接设为“无”，Astra 依然能拿到 96.7%，比在标准框架下开启最高推理还高出 34 个百分点。
所谓 harness（测试脚手架），是指包裹大模型的外部软件层，它决定了模型在回答中可以调用哪些工具、是否保留跨次请求的记忆状态以及上下文如何被压缩管理。ARC Prize 指出，两种框架都解决了 167 组游戏推理任务，但 OpenAI 适配器在解决这些问题时消耗的 token 数少了约 49%，速度约为标准框架的 3.66 倍。
目前公开信息显示，广泛传播的“99.9% vs GPT-5.6 Sol 的 7.8%”并非对等比较——Astra 的高分来自 OpenAI 适配器，而 Sol 的 7.8% 是在标准框架下取得的。ARC-AGI-3 真正支持的同口径对比是 62.7% 对 7.8%，这依然是巨大跃升，但远未到“全面超越人类”的程度。
为什么重要
ARC Prize 联合创始人 Mike Knoop 明确表示“目前缺乏证据称其为 AGI”，官方博客也拒绝认可 OpenAI 的结论。此事暴露了当下大模型评测的一个深层问题：模型权重与运行环境（脚手架）的边界正在模糊，分数越来越多地反映工程适配水平，而非模型本身的泛化智能。
此外，Fortune 通过对比网页存档发现 OpenAI 发布文章中的指标在发布后被多次修改：Astra 的幻觉率从 4.2% 降到 2% 又改回 4.2%；Anthropic 的 Fable 5.1 在 FrontierMath 上的分数从 87.8% 一度降至 78% 又回调至 83%；Sol 的 ExploitBench 分数从 5.5% 翻倍至 11.5%。斯坦福大学两位研究者将这种反复调参直到分数变好的行为称为“benchmaxxing”（刷分优化）。这些数字波动让评测结果的可信度成为新的行业问题。
对用户/开发者/创作者的影响
对企业采购者而言，对比模型时应优先看第三方标准框架下的同口径数据，而非厂商公布的演示成绩；对开发者来说，测试脚手架对结果的巨大影响意味着在选择模型时，不应只比较“模型智商”，还要考虑 API 服务是否允许自定义上下文管理、推理状态保留等工程参数——这些因素对实际任务效果的影响可能超过模型升级本身。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对于依赖大模型做内容生成或业务逻辑的普通用户，目前公开信息显示，Astra 在标准评测下并非 OpenAI 宣传中的“神级水平”，但同口径对比下它相较前代（Sol 的 7.8%）仍有显著提升，真实能力处于行业第一梯队，只是没有营销叙述中那么夸张。
值得关注的后续
后续有三个具体观察点值得追踪：其一，ARC Prize 已宣布将永久并行公布两套框架的成绩，这会否成为行业新规范；其二，OpenAI 称正在调查 Sol 的 ExploitBench 分数异常回退问题，如果证实数字曾被调整，可能引发对发布流程透明度的更严监管讨论；其三，Snorkel AI 提出的“修订须披露具体变更”的行业规范能否被主流实验室采纳，将直接影响未来大模型能力对比的参考价值。
来源：The Next Web
