一句话看懂：Work2Skill 尝试把人类在桌面软件里的录屏、鼠标键盘事件和无障碍树信息，整理成可复用的 Agent 技能，让 computer-use agent 在陌生软件里也能调用人类经验。值得关注的是，它同时发布了 350 条同步多模态演示数据集 WorkDemo-350。
事件核心：发生了什么
根据 Hugging Face Papers 收录的论文摘要，研究者提出 Work2Skill 框架，目标是从人类 GUI 操作经验中归纳可复用的 agent 技能。其基础设施 WorkRecorder 负责对齐屏幕录制、鼠标键盘事件以及可用的 accessibility-tree 信息。基于该工具，团队构建了 WorkDemo-350，摘要称这是首个面向可复用 agent 技能归纳与下游评估的同步多模态人类桌面 GUI 演示数据集，350 条演示经过完整性和任务成功筛选。论文还提出一种 agentic 技能归纳方法，按需检查证据，产出包含工作流规则、步骤依赖和完成检查的技能。在相同执行设置下，四个执行模型接入该方法归纳的技能后，摘要称 Work2Skill 取得最高分和成功率：在 MyPCBench Bounded Action 上平均分比对应 No Skill 基线提升 4.67–10.54 分，在 OSWorld-Verified 的 286 任务子集上提升 3.11–7.50 分。代码与数据已公开在 GitHub。
为什么重要
Computer-use agent 的瓶颈往往不在能否点击，而在不熟悉软件、又需要人类领域知识的工作流。人类演示本身包含程序性知识，但直接复用很难，因为必须理解上下文，并把工作流规则与任务细节拆开。Work2Skill 的方向是把“人怎么操作”转成可迁移技能，而不是让模型每次从零探索。若该方法可复现，它会降低 GUI agent 在垂直软件、企业内网工具和长流程任务中的训练与推理成本。数据集和代码开源，也有利于社区在统一基准上比较技能归纳路线。目前公开信息显示，这仍是论文层面的方法发布，不是已上线产品。
对用户/开发者/创作者的影响
对开发者而言，WorkRecorder 这类录制对齐工具意味着采集人类演示的门槛可能降低；技能归纳若稳定，可把一次演示沉淀为可调用技能，再接入不同执行模型。对企业和创作者来说，录屏加键鼠事件是比写脚本更自然的经验表达方式，尤其适合设计、剪辑、运营后台等依赖 GUI 的流程。但要注意，摘要没有说明跨软件泛化、隐私处理、录制成本以及技能冲突如何解决，真正落地仍需验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 WorkDemo-350 是否会被社区用于第三方复现，技能归纳效果能否在更多执行模型上保持；二是 WorkRecorder 是否支持更多操作系统和软件环境，以及如何处理敏感屏幕信息；三是该方法能否从评测基准走向真实企业工作流，并出现可调用的 API 或开源工具链。
