AOS-Bench评测:LLM Agent多任务并发能力下滑13至23分

arXiv 新论文提出 AOS-Bench,把编码 Agent 当作“工作负载管理器”来评测:任务陆续到达、共享 CPU 和内存。摘要显示,单任务表现好并不等于能管好多任务,重负载下各系统得分普遍下降 13 至 23 分。

一句话看懂:arXiv 新论文提出 AOS-Bench,把编码 Agent 当作“工作负载管理器”来评测:任务陆续到达、共享 CPU 和内存。摘要显示,单任务表现好并不等于能管好多任务,重负载下各系统得分普遍下降 13 至 23 分。

事件核心:发生了什么

据 arXiv cs.AI 2026 年 10 月 27 日发布的新论文摘要,现有编码 Agent 基准大多一次只评一个任务,无法反映“同一台机器上同时挂着构建、数据处理和修 bug”这类持续工作流。AOS-Bench 让经过验证的任务随时间到达,Agent 需在共享 CPU 与内存限制下决定何时接单、如何委托和重叠执行。研究测试了五组模型与运行框架组合,并用串行执行同样任务作为各系统的参考。

摘要给出的关键数据是:中等负载下,各系统单任务成功率相差 11 分,流式多任务成功率却相差 26 分;单任务仅差 0.6 分的两个系统,多任务交付率分别为 54% 和 68%。重负载下所有系统都损失 13 至 23 分。执行策略实验显示,串行调度会让 73% 的重负载任务未被领取;而固定并发数为 2 的策略与最佳 Agent 自主管理策略相差不到 4 分。

为什么重要

这指向一个被忽视的能力维度:Agent 不只是“会不会做题”,还要会做任务接入、排队和并发控制。目前公开信息显示,许多 Agent 产品仍以单轮任务演示为主,评测也偏重孤立任务成功率;AOS-Bench 把负载管理单独拿出来衡量,可能影响后续基准设计和 Agent 系统架构。另一个信号是,摘要中更复杂的自主管理并未明显优于简单固定并发,说明调度策略未必越复杂越好。

对用户/开发者/创作者的影响

对开发者而言,如果计划把编码 Agent 接入 CI、数据处理或长期驻留的助手场景,需要关注任务队列、并发上限和内存占用,而不只是模型单项能力。摘要提到,在所有策略下任务等待期间 CPU 中位使用率都低于 30% 的预配核心,意味着瓶颈可能在调度和任务接入,而非算力不足。对企业采购者,选型时单任务榜排名不能直接代表多任务场景表现。对创作者,若使用 Agent 同时处理多个生成或整理任务,响应稳定性和任务领取率会比峰值能力更影响体验。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文和代码是否公开,五组模型与框架的具体组合能否复现;二是后续是否出现基于 AOS-Bench 的第三方评测和产品宣传口径变化;三是 Agent 产品是否开始提供并发控制、任务队列等面向工作负载管理的 API。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 30551

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注