Agent4Sci评测:Claude Opus科研提分靠调参,三个轻量Skill让提升翻倍

Xudong Han 在 X 上介绍的 Anthropic 新论文显示,Claude Opus、Codex、Gemini 等 Agent 在 20 个 ML for Science benchmark 上都能超过原论文结果,但提升主要来自调超参、换优化器等工程技巧,而非真正的科研创意。加入三个轻量 Skill…

一句话看懂:Xudong Han 在 X 上介绍的 Anthropic 新论文显示,Claude Opus、Codex、Gemini 等 Agent 在 20 个 ML for Science benchmark 上都能超过原论文结果,但提升主要来自调超参、换优化器等工程技巧,而非真正的科研创意。加入三个轻量 Skill 后,Claude Opus 平均提升从 10.4% 升至 20.1%。

事件核心:发生了什么

据 Xudong Han 于 2026 年 10 月 25 日发布的帖子,Anthropic 新论文提出 Agent4Sci 评测:把 Claude Code、Codex、Gemini 放进 20 个真实 ML for Science benchmark,要求 Agent 读论文、改代码、跑实验,并尝试超过论文原本的最好结果。前沿 Agent 在所有 benchmark 上都找到了提升,Claude Opus 平均相对提升 10.4%。但作者拆解轨迹后发现,大部分增益来自调超参、换优化器、ensemble 和反复局部搜索等常见工程手段;Agent 容易高估想法的新颖性,GPU 闲置,或在一个有效方向上持续刷参数。作者加入科研构思、实验管理、定时自检三个轻量 Skill 后,Claude Opus 平均提升升至 20.1%,Codex 从 4.4% 升至 8.1%。

为什么重要

这组结果把 Research Agent 的短板指向判断而非执行。当前大模型在代码修改和实验循环上已较成熟,但区分“工程调参”与“科研新想法”仍困难。若轻量 Skill 能稳定放大收益,Agent 产品的竞争点可能从堆算力、拉长推理转向科研习惯与流程设计。不过该结论仅来自论文设定的任务与评测条件,尚不能视为通用排名。

对用户/开发者/创作者的影响

常用 Claude Code 或 Codex 跑实验的开发者,可优先检查 Agent 是否在做有效探索:GPU 是否闲置、是否过早收敛到局部最优、是否把常规调参误报为创新。与其直接增加算力或延长运行时间,不如先补充实验记录、阶段自检和方向评估等轻量流程。对科研工具采购方而言,评估 Research Agent 时应看“判断质量”,而不只看最终指标提升。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是三个轻量 Skill 是否会被产品化,进入 Claude Code、Codex 等工具;二是其他团队能否在更多 benchmark 上复现 10.4% 到 20.1% 的增益;三是 Agent 在开放科研任务中能否减少对调参路径的依赖,给出可验证的新假设。

来源:@Xudong07452910

celebrityanime
celebrityanime
文章: 29924

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注