GitHub Copilot 现已能通过 computer use 与桌面应用交互

GitHub Copilot 上线 computer use 公开预览,可直接操作 macOS 和 Windows 上的桌面应用,替用户点击、输入、滚动和跨应用流转任务。这意味着 Copilot 从写代码的助手,开始向能"动手"的数字同事演进。

一句话看懂:GitHub Copilot 上线 computer use 公开预览,可直接操作 macOS 和 Windows 上的桌面应用,替用户点击、输入、滚动和跨应用流转任务。这意味着 Copilot 从写代码的助手,开始向能”动手”的数字同事演进。

事件核心:发生了什么

根据 GitHub Changelog 2026 年 10 月 1 日的更新,computer use 现已在 GitHub Copilot CLI 和 macOS、Windows 版 GitHub Copilot 应用中进入公开预览。Copilot 可以读取应用的可访问内容与视觉上下文,执行点击控件、输入和编辑文本、按键、滚动、拖拽,以及跨应用导航等操作。它的价值集中在那些没有 API、命令行接口或 MCP 集成的传统软件和纯 GUI 工具上,比如报销流程、老旧企业系统。启用方式上,CLI 用户运行 /computer on,应用用户则在设置中打开 Computer Use。权限方面,Copilot 在控制应用前需用户批准,macOS 上会引导完成辅助功能和屏幕录制授权,企业管理员也可通过组织设置禁用该功能。

为什么重要

此前 AI 代理主要通过 API 或 MCP 连接外部系统,覆盖面受限于服务是否开放接口。computer use 把交互层下沉到操作系统和图形界面,等于绕过了 API 这道门槛,让大模型推理能力直接对接存量软件生态。对 GitHub 而言,这是把 Copilot 从代码补全工具扩展为通用任务代理的关键一步,也是与操作系统级 AI 助手、其他具备视觉操作能力的代理产品正面竞争的信号。它同时把权限、安全和企业管控问题推到了台前,这会成为企业采购评估的重点。

对用户/开发者/创作者的影响

对开发者来说,原本需要写脚本或 RPA 才能自动化的图形界面流程,现在可以用自然语言描述目标、涉及的应用和约束条件来完成,测试和运维环节尤其受益。对普通用户和创作者,整理浏览器通知、更新演示文稿、在桌面软件间搬运信息等重复操作可以交给 Copilot 执行,但需要适应”先授权、再执行”的交互节奏。需要提醒的是,computer use 依赖屏幕内容和可访问性接口,涉及敏感数据的场景建议优先确认组织策略,目前公开信息显示管理员可整体关闭该能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是桌面操作在长流程任务中的稳定性,尤其是界面变化或弹窗干扰时的表现;二是权限与审计机制是否会进一步细化,例如按应用白名单、操作日志留存;三是竞品跟进节奏,其他大模型厂商和操作系统厂商是否推出同类能力。这会直接影响 AI 代理在企业环境中的落地速度。

来源:GitHub Changelog

celebrityanime
celebrityanime
文章: 26763

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注