一句话看懂：Vercel Labs 于 2026 年 10 月 30 日发布 Apache-2.0 开源工具 agent-desktop，它让任何具备 shell 能力的 AI Agent 通过操作系统无障碍树读取并操控 macOS、Windows 和 Linux 桌面应用，无需依赖截图和视觉模型。
事件核心：发生了什么
agent-desktop 是一个用 Rust 编写的 CLI 和 C 库，当前版本 1.0.2。它本身不包含大模型，也没有图形界面，定位是“供 Agent 调用的工具”：每条命令输出一个 JSON 并退出，观察、行动、验证的循环仍由调用方 Agent 负责。它通过 macOS AX API、Windows UI Automation 和 Linux AT-SPI 读取界面结构，每次快照为可操作元素分配带快照 ID 的引用（如 @s8f3k2p9:e8）；界面变化时返回 STALE_REF，由 Agent 重新快照。
性能方面，Vercel Labs 方面称，在 Slack、VS Code、Notion 这类密集 Electron 应用上，骨架遍历使 token 消耗减少 78% 至 96%；Apple Maps 单次读取从 3,811 个 token 降至 273 个。素材同时说明这些是自报数据，尚无独立的 computer-use 基准。工具支持 macOS 13+、Windows 10 1809+ 及 Ubuntu 24.04+，x64 与 ARM64 均可运行，仅用 CPU。
为什么重要
目前主流的 computer-use 方案——如 Anthropic 和 OpenAI 的模型工具——基于截图和像素坐标执行点击，Anthropic 文档称每张截图约消耗 1,000 至 1,800 个输入 token。agent-desktop 走的是结构化路线，返回界面元素而非图像，并且默认在后台操作，不移动光标、不抢占焦点。这意味着开发者可以用任意模型驱动原生应用，而不必绑定某家闭源 API，也不需要额外的视觉推理算力。对开源 Agent 生态来说，这是一块缺失的“手”的补件。
对用户/开发者/创作者的影响
开发者可通过 npm install -g agent-desktop 安装，包内附带 x64 和 ARM64 原生二进制；macOS 需授权辅助功能权限，Linux 需要 at-spi2-core 图形会话，Windows 在同等完整性级别下无需额外授权。自带技能文档可通过 agent-desktop skills get desktop 让 Agent 自行学习用法。它适合需要批量操作桌面软件、又不想依赖截图识别的自动化场景；但 60 个命令中仅 56 个可用，能力边界仍需实测，且无障碍树质量取决于应用本身的支持程度。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是第三方独立基准能否验证其 token 节省和任务成功率；二是更多应用尤其是自绘界面软件对无障碍树暴露的完整度；三是微软 UFO² 等同样基于 UI Automation 的方案是否会跟进跨平台与无模型绑定形态。
