OS-Helix 统一GUI操作与代码执行,OSWorld验证成功率66.44%

Hugging Face Papers 收录的论文提出 OS-Helix,把图形界面点击操作与代码执行整合进同一动作空间,用混合数据训练原生桌面智能体。在 OSWorld-Verified 上,OS-Helix-27B-RL 报告 66.44% 的成功率,为 GUI 智能体如何真正落地提供了一种新思路。

一句话看懂:Hugging Face Papers 收录的论文提出 OS-Helix,把图形界面点击操作与代码执行整合进同一动作空间,用混合数据训练原生桌面智能体。在 OSWorld-Verified 上,OS-Helix-27B-RL 报告 66.44% 的成功率,为 GUI 智能体如何真正落地提供了一种新思路。

事件核心:发生了什么

据 2026 年 10 月 15 日发布的论文摘要,OS-Helix 是一个端到端训练的多模态 computer-using agent,目标是在 Ubuntu 桌面上同时完成“看懂界面”和“写脚本、改文件、调系统状态”两类任务。作者指出,单纯在提示词层面叠加代码工具反而会让 GUI 智能体变差,因此主张通过高质量混合数据把 GUI/代码的路由能力“内化”进模型。

数据侧,论文设计了 application-artifact composition,把桌面应用与真实文件产物配对,构造出可执行的 Ubuntu 状态;并用解耦的指令/评估器生成管线,让任务终态与解题方式无关、可以被验证。训练上先用 SFT 冷启动,再在真实桌面环境中做在线强化学习,并提出 Step-balanced GSPO,按动作步而非原始 token 聚合重要性权重,避免长代码动作在异构动作优化中占主导。

摘要给出的数字是:在 OSWorld-Verified 上,OS-Helix-27B 和 OS-Helix-35B-A3B 相对各自匹配的 Qwen3.5 混合基线分别提升 35.0% 和 33.7%;OS-Helix-27B-RL 再提升 42.9%,达到 66.44% 成功率。这些结果均限定在该论文的评测条件下,目前公开信息显示尚未经过独立复现或同行评审确认。

为什么重要

桌面自动化长期在两条路线间摇摆:纯视觉 GUI 智能体擅长理解界面,但处理批量文件、脚本和系统状态时效率有限;纯代码路线执行高效,却难以应对没有 API 的封闭应用。OS-Helix 的意义在于把二者当成一个动作空间来训练,而不是靠提示词临时拼工具。如果这一路线成立,训练数据的构造方式和动作粒度的优化方法,可能成为 computer-use 智能体竞争的新变量。

对用户/开发者/创作者的影响

对开发者而言,论文透露的关键信号是“混合数据质量”和“可验证任务终态”比简单接入代码工具更重要;做 AI 应用集成时,评估智能体不能只看界面点击正确率,还要看最终文件与系统状态是否符合预期。对普通用户和创作者,这类能力若成熟,意味着更多重复性的桌面操作可以被自动化,但摘要阶段还不宜把它当成可直接使用的产品能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 OS-Helix 是否开源模型权重或训练数据管线,决定社区能否复现其混合数据方案;二是 Step-balanced GSPO 在更多异构动作任务上是否同样有效;三是论文提到的 WindowsAgentArena 跨平台迁移能否在正式评测中保持稳定。上述均需等待全文与后续实验披露。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29403

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注