一句话看懂:arXiv 上一项新研究提出 VEX 框架,让电脑操作智能体直接利用教学视频中的画面与语音进行学习,并通过回看自身操作视频来校验进度。在 OSWorld 测试中,9B 规模的 video-SALMONN-VEX 相比其 Qwen3.5 底座任务成功率相对提升 22%。
事件核心:发生了什么
根据 2026 年 11 月 17 日发布在 arXiv 的摘要(编号 2611.18747v1),研究团队提出 VEX(Video as EXperience)框架,采用“观看—执行—回看”的流程:先从教学视频的画面演示和语音讲解中提取操作指引,再在图形界面中执行任务,最后把自身操作过程录成视频回看,以验证完成情况。
研究团队基于 video-SALMONN 2 架构和 Qwen3.5-9B 底座,构建了 9B 参数的多模态智能体 video-SALMONN-VEX,并提出强化学习方法 AGGO,把视频中提取的指引优化为更利于动作预测的形式。他们还给 AgentNet、OSWorld、CUA-Gym 补充了超过 2.4 万段真实教学视频。评测显示,在 OSWorld 上任务成功率相比 Qwen3.5 底座相对提升 22%;其生成的指引让 Gemini-3.5-flash 在同一评测中相对提升 10%。
为什么重要
现有电脑操作智能体大多把视频拆成截图序列再转成动作轨迹,语音讲解中的操作意图和步骤提示被丢掉。VEX 把音视频理解当作统一接口,使示范学习和自我反思共用一套输入形式,这让智能体可以像人一样“看教程学操作”。如果这一路线成立,训练数据的获取成本可能明显低于人工标注的操作轨迹。
不过需要说明:以上结论仅来自论文摘要,摘要未披露完整实验细节,也不代表已有产品或 API 上线。
对用户/开发者/创作者的影响
对开发者而言,值得关注的是“视频作为经验”能否减少标注与采集成本,以及 AGGO 这类强化学习方法能否复用到其他通用智能体。对普通用户,这类能力意味着未来智能体更容易照着软件教程自学新工具。对创作者,带语音讲解的教学视频可能成为智能体可用的训练素材,但相关数据授权与使用规范目前公开信息有限。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是看论文全文是否公开完整的消融实验和对比条件;二是看社区工具或开源项目是否复现该框架;三是关注教学视频用于训练时的版权和数据合规问题。
来源:arXiv cs.AI

