一句话看懂:Hugging Face Papers 收录的一篇论文提出 iPrefBench,用于测试手机 AI 代理能否推断用户偏好、并在必要时主动追问,而不只是机械执行任务。对 7 个前沿代理的评测显示,高分行动执行并未转化为同样高的个性化任务成功率。
事件核心:发生了什么
根据论文摘要,iPrefBench 是一个面向个人移动使用代理的用户中心基准,运行在可执行的 iOS 环境中,并配有可交互的模拟用户。它围绕一个连贯的用户画像构建,包含 3,051 条历史活动事件,覆盖 26 个应用中的 130 个表述不完整的任务。每个被省略的、依赖用户的需求,在设计上要么可从历史推断,要么只能向用户询问。评测衡量两件事:代理是否按该用户正确完成任务,以及是否在必要时主动获取输入。摘要提到 26 个应用,但未逐一列出应用名称;任务具体内容及评分细节也需查阅全文。
为什么重要
计算机使用代理已能在指令明确时跨应用操作,但真实用户请求往往缺少关键信息。能否“猜对”和“该问就问”,直接决定助手是真正替用户办事,还是把错误假设一路执行到底。iPrefBench 把这种模糊性拆成两类可测试要求,为个性化代理提供了更接近真实使用场景的评测维度;同时也把行业焦点从单纯的动作完成率,拉向用户意图理解与交互质量。
对用户/开发者/创作者的影响
对开发者而言,这意味着仅优化点击、输入等动作执行不够,产品还需建立用户历史建模、偏好推断与追问策略,并控制不必要的提问负担。对普通用户,代理若能区分“该自己推断”与“必须问我”,可减少误操作和不必要的确认弹窗。目前公开信息显示,该基准仍是研究论文中的评测工具,并非已上线产品或 API;是否开放、如何接入尚不明确。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 iPrefBench 的任务集、模拟用户与评分代码是否公开,能否被其他团队复用;二是后续代理在“只能询问”的信息上能否缩小差距;三是这类基准是否会推动手机厂商与 AI 应用把个性化评测纳入常规迭代。


