一句话看懂：Ai2 于 2026 年 10 月 27 日发布研究《Old Ideas, Novel Problems》，测试六款大模型作为“新颖性裁判”的可靠性，结果显示评估设置稍有变化，对同一批研究想法的判断就会大幅改变。
事件核心：发生了什么
这项研究来自 Allen Institute for AI（Ai2），作者为 Kyle Wiggers。团队构建了一个基于 ICLR 2026 同行评审的自动化流程，从审稿意见中提取对原创性的正负面评价，形成高新颖性池（154 个来自评分前 10% 的接收论文想法）和较低新颖性池（145 个来自评分后 10% 的拒稿论文想法）。在 Human-Only 设置之外，又用基础 LLM 生成 154 个想法，与人类想法配对组成 Human+Generated 设置。测试覆盖 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六款模型。结果表明，仅改动提示词中几个词，模型判断两个想法谁更新的准确率就变化超过 50 个百分点；加入检索和额外推理也没有稳定提升；两个专门构建的新颖性评估系统反而不如直接提示 Claude Opus 4.6 的简单基线。目前公开信息显示，该研究以论文、数据和代码形式发布，尚无产品化结论。
为什么重要
随着大模型进入科研辅助环节，从提出假设到筛选方向，越来越依赖模型来判断“是否足够新”。如果这个判断本身不稳定，自动科研流水线就可能把重复包装的旧想法当作创新，或漏掉真正有价值的冷门方向。研究还指出，许多新颖性裁判只在人类撰写的论文上验证，而实际用途却是评估 AI 生成的想法，二者存在明显错位。
对用户/开发者/创作者的影响
对使用大模型做选题或研究综述的开发者来说，不宜把单次模型输出的“新颖性评分”当成硬性结论；提示词措辞、是否接入文献检索、推理预算都会影响结果，需要固定评估流程并保留人工复核。对研究团队，这篇论文提供了一个可复用的基准和构建新评测集的自动化管道，可用于对比不同模型和提示策略，但需要注意 Human+Generated 设置中生成想法的新颖性标签为弱标签，并非逐个核实。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Ai2 是否会更新基准或补充更多模型与任务的结果；二是是否有团队跟进提出更稳定的新颖性评估方法，特别是结合文献检索的方案；三是科研辅助类 AI 产品在采用这类自动判断时，如何设计人工审核与不确定性提示。
