Schema Harness 在 ARC-AGI-3 公开集上取得约 99% 成绩

一种名为 Schema 的“推理框架(Harness)”在 ARC-AGI-3 基准测试的公开集上,配合 Claude Opus 4.8 和 Fable 5 模型达到了 98.98% 的成绩,接近人类水平(100%)。它不修改模型权重,而是通过改进模型使用方式——即如何观察、建模、预测和修正——大幅提升了 A…

Schema Harness 在 ARC-AGI-3 公开集上取得约 99% 成绩

一句话看懂:一种名为 Schema 的“推理框架(Harness)”在 ARC-AGI-3 基准测试的公开集上,配合 Claude Opus 4.8 和 Fable 5 模型达到了 98.98% 的成绩,接近人类水平(100%)。它不修改模型权重,而是通过改进模型使用方式——即如何观察、建模、预测和修正——大幅提升了 AI 在未知规则游戏中的推理能力。

事件核心:发生了什么

ARC-AGI-3 是一个测试 AI 在未知规则下自主探索与推理能力的基准。在该测试中,模型面对一个 64×64 的彩色网格,没有对象列表、规则说明或明确目标,只能通过试错和假设验证来推进。此前,顶尖前沿模型(如 GPT-5.6 Sol)在该基准的半私有集上仅达到 7.78%,公开集上为 13.33%。

Schema Harness 团队公布了两项自测结果:使用 Claude Opus 4.8 和 Fable 5 的组合在公开集上取得 98.98%(约 99%)的 RHAE(相对人类动作效率)分数;使用 GPT-5.6 Sol 也取得 95.35%。这两项成绩均未经过 ARC Prize 官方验证。其工作方式为:先以 Opus 4.8 或 Sol(xhigh 模式)执行,若某关卡得分低于 80,则用 Fable 5 或 Sol(max 模式)重跑,取更高分。

为什么重要

Schema 的成绩表明,在模型权重不变的前提下,“如何用模型”比“用哪个模型”可能更具决定性。传统方法侧重训练更大的模型或增加推理计算量,而 Schema 的“物理学家式推理”将问题拆解为“状态构建”(将像素转化为对象、变量和关系)和“机制发现”(找出状态如何在动作下变化并写成可执行程序),并且同时解决这两个问题。这种联合优化的思路,为提升模型推理能力提供了一条不同于“堆数据、堆算力”的技术路径。

对于 ARC-AGI-3 这一被认为是“AI 通用智能”的硬性标杆而言,接近人类水平意味着在游戏、模拟等动态环境中,AI 的自主适应能力取得里程碑式进展。然而,该成绩未经官方验证,且仅限公开集(难度相对较低),在半私有集上效果未知,因此仍需理性看待。

对用户/开发者/创作者的影响

对于 AI 应用开发者和技术团队而言,Schema 的方法提示了一个方向:在模型能力接近天花板的当下,精心设计的推理流程(包括感知、假设验证、回退策略)可以显著改善 AI 在复杂、不可预见场景中的表现。对于游戏开发、机器人控制、自动化测试等需要模型处理未知规则的应用场景,这种“推理框架”可能比简单调用 API 更实用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于普通用户,目前该技术尚未以产品形式落地,短期内不会直接影响日常使用。但若 Schema 或类似思路被集成到 AI 助手、自动化工具中,未来用户可能体验到更“聪明”的 AI——例如在解释一张复杂图表、操作一个陌生软件或玩一个新游戏时,模型不再“瞎猜”,而是通过试错和自我修正做出合理行为。

值得关注的后续

第一,该成绩未经 ARC Prize 官方验证,下一步需关注团队是否提交验证并公布半私有集结果,这是判断通用性的关键。第二,Schema 的推理流程是否可开源或商业化落地,目前公开信息显示该框架尚处于研究阶段,如果开放代码或 API,将极大降低开发者的使用门槛。第三,竞品模型(如 OpenAI、Google DeepMind)是否会跟进类似“推理框架”路线,或在模型训练中直接注入这种“物理学家式”思维,值得跟踪。目前公开信息显示,Schema 的代码和详细论文尚未发布,后续进展有待作者团队公布。

来源:Hacker News 热门(buzzing.cc 中文翻译)

celebrityanime
celebrityanime
文章: 13816

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注