HCU 统一三种交互通道,OSWorld 2.0 评测居首

一篇来自 Hugging Face Papers 的论文提出 Hybrid Computer Use(HCU),把代码/命令行、无障碍语义(AX)和图形界面(GUI)三种交互方式合成统一接口,让模型按需选择;作者称其在 OSWorld 2.0 上取得所比较系统中最高 Partial 与 Binary 分数。

一句话看懂:一篇来自 Hugging Face Papers 的论文提出 Hybrid Computer Use(HCU),把代码/命令行、无障碍语义(AX)和图形界面(GUI)三种交互方式合成统一接口,让模型按需选择;作者称其在 OSWorld 2.0 上取得所比较系统中最高 Partial 与 Binary 分数。

事件核心:发生了什么

论文公开时间为 2026 年 10 月 30 日,目前可查的是摘要信息,全文实验细节尚未披露。作者认为,现有 Computer-use agent 大多依赖截图加鼠标键盘操作,相当于把人的交互习惯强加给模型:模型需要反复读屏,而电脑本身的语义结构与可编程能力没有被充分利用。为此,HCU 提供三条通道——通过代码和命令行工具进行程序化交互、通过 accessibility(AX)进行语义交互、通过 GUI 进行视觉交互,并支持通道切换时防止过期状态下的误操作。作者还设计了一套附加技能,指导 agent 选择与协调通道;配套 AX 工具返回精简观测、批量执行动作,并以 AX diff 汇报效果,减少往返次数。

为什么重要

这场讨论触及 Computer-use 智能体的路线选择:是继续把“看屏幕、点鼠标”做到极致,还是让模型同时调用系统 API、无障碍树和代码执行。后者的优势在于更省 token、更少读屏往返,也更接近真实软件自动化的工程实践。作者称在 OSWorld 2.0 上,HCU 在 Partial 和 Binary 两项指标上高于所比较系统,并在轨迹分析中观察到所有被评估模型使用 HCU 后都获得提升,只是各模型在三条通道上的工作量分配不同。需要说明的是,这属于论文作者基于其评测条件的结论,不构成跨时间、跨环境的永久排名。

对用户/开发者/创作者的影响

对开发者而言,HCU 的价值在于“不绑定单一交互范式”:工具箱、脚本、浏览器、桌面应用可以各按最合适的方式接入,而不是全部包装成截图点击。对构建企业自动化或 RPA 替代方案的团队,AX diff 与批量执行若被验证可靠,可显著降低长任务中的往返成本与状态错误。对普通用户和创作者,短期更多是间接影响——若这类接口被主流 agent 产品采用,桌面操作任务的稳定性和速度可能提升,但目前公开信息显示它仍是论文提案,并非已上线产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 OSWorld 2.0 的具体得分、基线和消融实验是否在全文公开,尤其是通道切换防过期状态机制的实际效果;二是 AX 工具是否开源、能否与主流 Computer-use 框架和模型 API 对接;三是其他 agent 厂商是否跟进“程序化+语义+视觉”的混合接口思路,以及真实办公场景中的长任务成功率能否复现。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33047

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注