一句话看懂：Ai2 于 2026 年 10 月 27 日发布《Old Ideas, Novel Problems》研究与配套基准，测试大模型能否可靠判断科研想法的新颖性，结果发现评估设置稍有变化，判断结果就会大幅波动。这直接关系到用 AI 生成和筛选科研想法的系统是否可信。
事件核心：发生了什么
Ai2 此次发布包含论文、数据、代码和一套可复用的自动化评测流水线，核心是检验“新颖性裁判”——即让 LLM 判断某个研究想法相对已有工作是否真正新颖。研究测试了 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 共六个模型，在实验中仅改动提示词中的几个词，模型识别两个想法哪个更新颖的准确率就变化超过 50 个百分点。检索增强和更多推理并未稳定提升判断，两个专门构建的新颖性评估系统表现反而不如简单提示的 Claude Opus 4.6 基线。
基准构建上，Ai2 从 ICLR 2026 同行评审中挖掘明确讨论原创性的段落，而非用论文是否录用作为代理，筛选出 154 条高新颖性人类想法和 145 条低新颖性想法，构成 Human-Only 测试集；另将 154 条人类想法与 LLM 生成的 154 条想法配对，构成 Human+Generated 测试集，其中生成想法的新颖性标签为弱标签。
为什么重要
Ai2 的 DataVoyager、AutoDiscovery、Theorizer 等项目正把 AI 推进到科研假设生成与验证环节，而生成想法只是第一步，系统还必须区分真正的新方向与对已有工作的重新包装。目前业内没有构建新颖性裁判的标准方法，模型、提示词、评估格式、推理预算甚至文献检索系统的选择都会影响结论，且裁判往往只用人类论文验证，并未针对 AI 生成想法做校准。这意味着以 LLM 裁判为关键环节的科研自动化流程，其可靠性基础尚不牢固。
对用户/开发者/创作者的影响
对开发科研类 AI 应用的团队而言，这项研究提示不能把模型的新颖性判断当作稳定信号直接用于筛选或排序，尤其需要记录并固定提示词与评估配置，避免结论随设置漂移。对使用大模型做文献综述、选题评估的创作者和研究者，单次 LLM 给出的“新颖/不新颖”结论应视为参考而非定论。目前公开信息显示，Ai2 同步开放了基准、数据和代码，开发者可基于其流水线构建自己的评测集，在具体任务上验证裁判可靠性。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该基准能否催生更稳定的新颖性评估方法，例如结合检索与多裁判投票的方案；二是 OpenReview 等评审数据之外的领域能否复用这套自动化挖掘流水线；三是科研自动化产品在引入 LLM 裁判时，是否会公开其评估配置与校准结果。
