一句话看懂：Vercel Labs 于 11 月 5 日发布 agent-desktop 1.2.0，加入 MCP 支持，改为读取操作系统无障碍树、按控件编号触发操作，不再依赖截图和物理鼠标。一位开发者的实测显示，完成 15 笔账单加总填入记事本的连续 55 次点击零失误，且没有抢占鼠标键盘。
事件核心：发生了什么
此前让 AI 操作桌面，主流做法是截屏交给视觉模型解析像素坐标，再用鼠标点击，既消耗 token，执行时也会占用用户的输入设备。agent-desktop 1.2.0 的新路径是直接解析系统无障碍树，为每个控件分配编号，AI 依据编号在后台触发。测试者通过 WorkBuddy 客户端接入该工具，两分钟内启用 67 个桌面控制工具，未写配置代码。实测中，工具仅对计算器窗口生成定向快照，列出 36 个按钮编号，未读取其他窗口；随后连续按键 55 次，82.8 秒内算出总额 1746，并写入记事本保存。与截图方案对比，agent-desktop 全程 0 次截屏、单步约 1.5 秒；传统方式截屏 9 次、单步约 0.15 秒，且会占用物理鼠标。该结果基于 2026 年 11 月这一次任务和评测条件。
为什么重要
它把“AI 操作 GUI”的技术路线从视觉猜测拉回到结构化控制，降低了截图带来的 token 成本和隐私暴露面，也让 AI 可以在后台干活而不打断用户。对当前 Computer Use 类产品而言，这是一个值得对照的替代方案：慢在单步，快在无需视觉确认、无需抢夺输入设备。
对用户/开发者/创作者的影响
对普通办公用户，跨软件对账、填表、搬运字段这类机械操作可以交给 AI 后台完成；对开发者，MCP 接入方式和无障碍树读取思路降低了集成门槛；对创作者，目前公开信息显示它还不适合毫秒级批量任务，单次动作约 1.5 秒，追加一行文字并保存耗时接近 4 分钟，且按步消耗平台积分。遇到无名称、同质化的输入框，后台模式可能拒绝修改，需要切到前台用真实鼠标操作。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是无障碍树方案在不同软件上的覆盖率，尤其是缺少可访问性标注的应用；二是动作节拍能否优化到适合高频场景；三是 MCP 生态接入后，是否有更多平台跟进类似的后台控制接口。
来源：juejin
