一句话看懂：开发者 Peter Steinberger 展示了其自动化工具 Codex 通过浏览器和操作系统界面，像真人一样操作 Chrome、访问 GitHub PR、与 macOS 文件选择器交互，最终完成图片上传。整个过程虽令人惊叹，但也暴露了当目标平台没有直接 API 时，AI Agent 不得不“假装成人类”带来的低效与脆弱。
事件核心：发生了什么
2026 年 7 月 18 日，知名 iOS 开发者、PSPDFKit 创始人 Peter Steinberger 在 X 平台发布了一段观察记录。他描述了自己的 Codex（推测为基于 OpenAI Codex 或类似大模型构建的自动化代理）在虚拟机中运行时的行为：自动打开 Chrome 浏览器，导航到自己的 GitHub Pull Request 页面，点击评论框，然后与 macOS 原生的文件选择器（Picker）进行“搏斗”——最终只是为了上传一张图片。Steinberger 强调，GitHub 没有提供上传图片的 API，但这并没有阻止 Codex 用“浏览器+计算机使用”的方式强行完成任务。他还提到，自己将这些 Codex 程序放在虚拟机中运行，是为了避免它们抢夺应用的焦点（steal app focus），影响正常操作。该帖子获得了超过 5 万次浏览。
为什么重要
这次演示揭示了当前 AI Agent 领域一个关键矛盾：能力与效率的脱节。一方面，Codex 能够理解高级意图（“上传图片到 PR 评论”），并独立完成一系列复杂的 GUI 操作（打开浏览器、定位元素、处理系统弹窗），这展示了多模态大模型从“生成文本”向“执行动作”进化的巨大潜力。另一方面，这种行为也反映出基础设施的缺失——当没有 API 可用时，AI 必须像人一样操作 UI，速度慢、容易出错（“wrangle with the macOS picker”），且占用系统资源。Steinberger 将 Codex 隔离到虚拟机中，说明现阶段这种自动化还不能无缝融入日常工作流。这对于所有正在开发或使用“AI 电脑助理”产品（如微软 Copilot、苹果 Intelligence 的桌面 Agent 方案）的团队来说，是一个非常真实的工程挑战信号。
对用户/开发者/创作者的影响
对开发者：如果你是 AI Agent 或 RPA 工具的开发者，Steinberger 的观察直接指向了两个技术痛点：一是操作系统级 UI 操控的稳定性和性能问题（如文件选择器这类标准控件依然难以通用化处理）；二是如何优雅地处理“无 API”场景。目前公开信息显示，许多团队倾向于要么推动平台开放 API，要么训练模型更好地适应像素级 GUI 交互，但这两种路线的成本都很高。
对普通用户：这意味着“让 AI 帮你操作电脑”的理想场景距离真正可靠、不干扰用户（如不抢夺屏幕焦点）的商用状态仍有距离。用户可能需要容忍 AI 操作失误，或者像 Steinberger 那样为它配置隔离环境。
对企业 IT 采购：在评估投标中的“AI 自动化办公”产品时，建议关注其处理系统原生弹窗、文件对话框等非 Web 元素的成功率，以及是否提供后台（无头）运行模式，避免影响员工正常使用。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
1. 平台 API 是否会加速开放？ GitHub 等平台是否会因此类需求压力，增加对“上传图片到评论”这类基础功能的 API 支持？如果开放，将降低 AI Agent 的复杂度和失败率。
2. 操作系统级标准接口的演进： macOS、Windows 是否会推出专为 AI Agent 设计的自动化协议（类似辅助功能 API 的深化版本），以减少对屏幕拾取和 UI 操控的依赖？
3. VM 隔离是否成为 Agent 部署的标配？ Steinberger 的“虚拟机跑 Agent”做法可能被更多开发者采纳，进而催生一批专门托管和运行桌面 AI Agent 的云服务或沙箱产品。
