OpenFrontiers发布:12151个开放研究问题与数学再发现基准

arXiv 新论文提出 OpenFrontiers,把 12151 个开放研究问题整理成结构化语料,并配套一个 200 题的数学“再发现”基准;在 HQ-50 子集上评测七款 LLM 智能体,闭卷条件下最多只解出 40 题中的 7 题。

一句话看懂:arXiv 新论文提出 OpenFrontiers,把 12151 个开放研究问题整理成结构化语料,并配套一个 200 题的数学“再发现”基准;在 HQ-50 子集上评测七款 LLM 智能体,闭卷条件下最多只解出 40 题中的 7 题。

事件核心:发生了什么

该论文于 2026 年 10 月 30 日发布在 arXiv cs.AI。OpenFrontiers 由两部分组成:一个记录问题陈述、背景、研究进展等信息的开放问题语料库,共 12151 题,覆盖多个学科;另一个是数学回溯基准,包含 200 道题,其中 110 道在 2026 年已被解决、90 道仍开放。每题配有经过自动化探针和两次独立评审的 Lean 4 形式化陈述,并从中筛出质量更高的 HQ-50 子集。评测协议在隔离沙箱中用两个独立检查器给形式化证明打分,设置闭卷、冻结检索和联网三种条件。

为什么重要

当前大模型在竞赛题和日常代码任务上表现不错,但“能否重新发现已有研究成果”缺乏统一、可形式化核验的测法。OpenFrontiers 的价值在于把宽口径的研究问题语料,与一个有标准答案、可自动判分的评估子集连接起来。摘要给出的结果也提供了一个冷静参照:在统一预算下评测七款 LLM 智能体,闭卷再发现很少,HQ-50 中最多 7/40 被解出;联网条件下的成功主要反映对已发表解答的检索。这说明现有模型的“研究级推理”与检索能力仍须区分看待。需要说明,以上仅基于论文摘要,全文实验细节尚未核验,也不代表同行评审结论。

对用户/开发者/创作者的影响

对做 AI for Science、数学推理和智能体评测的开发者,这个基准提供了一个可复用的思路:用 Lean 4 形式化加双检查器降低评分主观性,并把“闭卷推理”和“联网检索”分开报告。数据与基准已在 Hugging Face 上提供,适合用于模型能力诊断,而不是直接当作产品宣称。普通用户和内容创作者可从中得到一个判断:模型能答对题,不等于能独立做出研究,引用时需看清评测条件。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 200 题基准是否随新论文持续更新,90 道开放题如何转为可评测题;二是形式化证明与自动检查器能否扩展到数学以外学科;三是后续研究是否会按闭卷、冻结检索、联网分别公布成绩,避免把检索能力误读为推理突破。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 31211

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注