Accelerate Bench 发布:32 项任务评测 16 个编码 Agent,得分差距拉大

Hugging Face Papers 收录的论文提出 Accelerate Bench,用 32 个 CPU 程序优化任务评测 16 个编码 Agent,Score@1 从 25.5% 到 67.4%,差距主要来自加速幅度而非正确性。

一句话看懂:Hugging Face Papers 收录的论文提出 Accelerate Bench,用 32 个 CPU 程序优化任务评测 16 个编码 Agent,Score@1 从 25.5% 到 67.4%,差距主要来自加速幅度而非正确性。

事件核心:发生了什么

据论文摘要,Accelerate Bench 于 2026 年 11 月 16 日公开,包含 32 个改编自科学应用与超算竞赛的 CPU 优化任务。每个任务提供一个可运行程序,并规定工作负载、正确性要求、时间边界和允许修改的范围,Agent 需自行决定优化哪里、怎么改。公开测试支持迭代开发,另有独立验证器给最终提交打分。

在 1.1 版本上,研究团队评测了 16 个编码 Agent,每个由模型与执行框架配对组成,Score@1 落在 25.5% 至 67.4% 之间。多数 Agent 的程序能保持正确,真正拉开差距的是加速比:表现最好的两个 Agent 在 32 个任务中至少 22 个达到 2 倍以上加速;其余 14 个只有 8 至 17 个任务达到 2 倍,且 412 个正确结果中有 125 个低于 1.25 倍。

为什么重要

应用级程序优化和写对一段代码不是一回事。摘要中的控制实验显示,同一份源码仅因构建与运行时配置不同,运行速度就在 0.29 倍到 2.12 倍之间;一处改动是 1.01 倍还是 6.4 倍,还取决于另一处改动。这意味着 Agent 要跨文件、跨构建配置协调修改,而不是做局部补丁。对评估编码 Agent 的行业来说,这类可执行工作负载加轨迹的基准,比只看通过率更接近真实工程场景。

对用户/开发者/创作者的影响

对开发者而言,目前公开信息显示该基准强调的是“保持计算正确的前提下提升性能”,适合用来观察编码 Agent 在性能工程上的短板,例如能否处理编译器选项、运行时配置与代码改动的耦合。对企业采购或团队选型,现阶段结果只适用于 1.1 版本的 32 个任务和给定评测条件,不能直接当作永久排名。对普通用户和创作者,这类能力短期内更可能体现在后台性能优化工具,而非直接可见的产品功能。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是看 Accelerate Bench 是否随任务扩充或版本迭代更新排名,当前分数只对应摘要给出的版本与条件;二是看领先 Agent 的加速优势能否迁移到更多真实项目;三是看后续是否公开更多任务细节与轨迹数据,供社区复核结论。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注