一句话看懂：Prime Intellect 发布了一项“AI 研究员”基准测试，让多个前沿大模型在纳秒级 nanoGPT 优化挑战中独立完成训练效率研究，以检验大模型的自动化科研能力，并首次引入了可重复的多轮随机运行机制。
事件核心：发生了什么
Prime Intellect 在 Hacker News 上公开了其“自主 AI 研究评测”的更多细节。该评测借鉴了 Anthropic 内部自动化 AI R&D 评估的做法（后者是在 CPU 节点上优化模型），但具体任务设定为：让 18 个前沿大模型各自扮演“研究员”，在限定时间和 token 预算内，通过反复试验、评测、再尝试的方式，把 nanoGPT 优化至目标损失值（如 3.28 以下），并比较谁用的训练步数最少。整个研究过程并非一次跑通，而是用不同随机种子重复了 8 次，总计 153 个自主运行轨迹（有评论者指出，18×8 应为 144 次，与实际数字存在偏差，官方未单独解释）。最终图表展示的是每个模型“最佳验证结果”随训练步数的变化曲线。
值得注意的是，该评测与 modded-nanogpt 世界纪录项目为同一家公司赞助，基准测试本身就是基于这个开源优化任务设计的，因此并非第三方独立组织的比赛。
为什么重要
这项评测的意义不在于 nanoGPT 本身，而在于它试图把“科研能力”拆解成一个可量化、可重复的自动化任务。过去评测大模型通常看单次问答质量或代码生成通过率，而这里考核的是模型在长时间自主循环中的策略调整能力——类似于给 AI 一个“实验室”，看它能不能像人类研究员一样，基于有限实验结果不断改进下一步方案。这比单轮 benchmark 更接近真实科研场景。
同时，它也揭示了当前做“AI 做研究”评测的难点：评测设定的目标阈值、时间限制、初始 prompt 的细微差异（例如是否提示模型“注意弱信号”），都可能显著影响结果。评论区有研究者质疑，团队花了大量 GPU 时间跑同一个目标 prompt，却没有系统测试不同 prompt 对结果的影响。
对用户/开发者/创作者的影响
对普通开发者和研究者而言，这套评测提供了一个实用的参考：如果想评估某个大模型在“自主迭代优化”场景下的真实能力，可以用 nanoGPT speedrun 作为低成本测试场，而不必动用昂贵的多智能体框架。对于正在做 AI 自动化科研工具、调参平台或 AutoML 产品的团队，这种“带约束的自主实验循环”评测方法也可能成为新的验收标准。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
另外，该评测暴露的知识缺口值得注意：官方博客在解释“optimizer run”这一概念时不够清楚，导致 Hacker News 上不少读者需要自行前往 Anthropic 的页面才能理解。这意味着，如果团队要对外发布类似基准，需要把术语定义和任务流程讲得更具体，否则很容易造成信息断裂。
值得关注的后续
目前公开信息显示，一个值得跟踪的疑问是：为什么 18 个模型 × 8 次重复并不等于公布的 153 次运行，这可能是因部分模型中途失败或额外补跑所致，官方尚未回应。其次，如果 Prime Intellect 后续公布不同 prompt 变体（如加入“考虑新颖方案”指令）的对比结果，将能更清楚地说明该评测的稳定性。最后，Anthropic 是否会把其内部 CPU 节点评测扩展为公开基准，仍是一个关键变量——它可能改变“AI 做 AI 研究”的行业评测范式。
来源：hackernews
