一句话看懂:Hugging Face Papers 收录的论文提出 Accelerate Bench,用 32 个 CPU 程序优化任务评测 16 个编码 Agent,Score@1 从 25.5% 到 67.4%,差距主要来自加速幅度而非正确性。
事件核心:发生了什么
据论文摘要,Accelerate Bench 于 2026 年 11 月 16 日公开,包含 32 个改编自科学应用与超算竞赛的 CPU 优化任务。每个任务提供一个可运行程序,并规定工作负载、正确性要求、时间边界和允许修改的范围,Agent 需自行决定优化哪里、怎么改。公开测试支持迭代开发,另有独立验证器给最终提交打分。
在 1.1 版本上,研究团队评测了 16 个编码 Agent,每个由模型与执行框架配对组成,Score@1 落在 25.5% 至 67.4% 之间。多数 Agent 的程序能保持正确,真正拉开差距的是加速比:表现最好的两个 Agent 在 32 个任务中至少 22 个达到 2 倍以上加速;其余 14 个只有 8 至 17 个任务达到 2 倍,且 412 个正确结果中有 125 个低于 1.25 倍。
为什么重要
应用级程序优化和写对一段代码不是一回事。摘要中的控制实验显示,同一份源码仅因构建与运行时配置不同,运行速度就在 0.29 倍到 2.12 倍之间;一处改动是 1.01 倍还是 6.4 倍,还取决于另一处改动。这意味着 Agent 要跨文件、跨构建配置协调修改,而不是做局部补丁。对评估编码 Agent 的行业来说,这类可执行工作负载加轨迹的基准,比只看通过率更接近真实工程场景。
对用户/开发者/创作者的影响
对开发者而言,目前公开信息显示该基准强调的是“保持计算正确的前提下提升性能”,适合用来观察编码 Agent 在性能工程上的短板,例如能否处理编译器选项、运行时配置与代码改动的耦合。对企业采购或团队选型,现阶段结果只适用于 1.1 版本的 32 个任务和给定评测条件,不能直接当作永久排名。对普通用户和创作者,这类能力短期内更可能体现在后台性能优化工具,而非直接可见的产品功能。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是看 Accelerate Bench 是否随任务扩充或版本迭代更新排名,当前分数只对应摘要给出的版本与条件;二是看领先 Agent 的加速优势能否迁移到更多真实项目;三是看后续是否公开更多任务细节与轨迹数据,供社区复核结论。

