新基准MemU-Bench测试模糊指令,GUI智能体SPL最高仅16.4%

arXiv 11 月 3 日公开的论文提出 MemU-Bench,用 118 个“含糊且依赖历史”的移动端任务检验 GUI 智能体,并给出免训练的 AppMem 记忆框架;目前最强系统在没有用户历史时 SPL 仅 16.4%,说明“记住过去操作”是这类智能体的明显短板。

一句话看懂:arXiv 11 月 3 日公开的论文提出 MemU-Bench,用 118 个“含糊且依赖历史”的移动端任务检验 GUI 智能体,并给出免训练的 AppMem 记忆框架;目前最强系统在没有用户历史时 SPL 仅 16.4%,说明“记住过去操作”是这类智能体的明显短板。

事件核心:发生了什么

现有 GUI 基准大多假设用户指令精确、与操作历史无关。MemU-Bench 反其道而行:任务建立于 29 条长程用户轨迹之上,用户说出的指令省略了过去的操作细节,智能体必须从冗长杂乱的交互流中提炼记忆,再按需找回缺失的上下文。任务结果以序列化应用数据库作校验。除成功率外,该基准引入交互效率(IE)和按路径长度加权的成功率(SPL),用来识别那些靠跨应用穷举搜索“碰对”而非真正回忆历史的智能体。

在论文摘要给出的评测条件下,缺乏用户历史的系统表现不佳:表现最好的 Gemini-3.1-Pro 的 SPL 仅 16.4%,端到端 GUI 智能体低于 5%。作者同时提出免训练的 AppMem,将用户历史整理为以应用为中心的结构化记忆库,跟踪跨应用切换时被打断的意图,并通过推断目标应用选择性检索;它把 GPT-5.5 的 SPL 从 15.7% 提升至 66.9%(+51.2%),比简单摘要基线高 9.3%。以上仅为摘要口径,未核验全文实验。

为什么重要

GUI 智能体正从演示走向日常使用,而真实用户的指令往往残缺、前后关联。排行榜上的高分可能来自一次次试探点击,而非理解用户意图,这会让交互成本与错误率被低估。MemU-Bench 把“记忆管理”推到评测中心,也为训练、推理之外的记忆模块提供了可量化的比较维度;若方法可复现,对手机助手类 AI 应用的落地节奏有参考意义。

对用户/开发者/创作者的影响

对用户而言,评估重点从“能不能完成”扩展到“完成得是否省事”,未来手机助手若接入结构化记忆,跨应用续接任务可能更顺滑,但隐私与本地化存储会成为前提问题。开发者需要注意的是,SPL 这类效率指标可能进入模型选型清单,长对话上下文与外部记忆库的设计同样值得投入。内容创作者若依赖智能体自动操作应用,则要预期模糊指令下仍存在明显失败率。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 AppMem 的结构化记忆在更多模型骨干与真实应用上的泛化是否成立;二是该基准会否被社区复现并纳入 GUI 智能体常规评测;三是隐私敏感的场景中,用户历史如何存储、何时检索,将决定这类记忆方案能否产品化。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 32159

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注