一句话看懂：Hugging Face Papers 收录的论文 HiSTEVE 1.0 提出一种分层 VLA（视觉-语言-动作）代理，让它像人类玩家一样只用画面输入和键鼠操作玩开放式游戏《我的世界》，并在摘要给出的短程任务基准上报告了较高成功率，值得关注的是它试图把“长期自主”和“原生界面操控”两件事合进一个系统。
事件核心：发生了什么
据论文摘要（并非产品发布公告），研究团队提出 HiSTEVE 1.0，这是一套面向开放式游戏的分层 VLA 代理，附带一个“能力感知”的代理外壳。上层由结构化记忆追踪进度，再由图生文的 VLM 规划器在 VLA 能力范围内挑选子任务；下层由单个 VLA 用纯视觉感知、通过原生键盘鼠标动作执行任务。为解决 GUI 与非 GUI 交互相互干扰，作者引入按交互类型区分的 RMSNorm 分支和独立的鼠标移动 token 嵌入，并组合世界知识注入、模仿学习和带环境反馈的强化学习来训练。摘要给出的数字是：MineStudio Bench 原子任务得分 85.0%，OpenHA 平均成功率 37.4%，还能从零开始完成制作铁镐这类长周期任务。
为什么重要
现有游戏代理大致分两类：一类只有接近原生的视觉运动控制、缺少长期自主；另一类靠环境 API 或预设技能做高层规划。HiSTEVE 的价值在于尝试用一套分层架构把两者接上，并且坚持只用画面和键鼠，不依赖游戏内部接口。若这条路线成立，它对“通用电脑操作代理”的意义比游戏本身更大——同样的原生界面控制能力可以迁移到浏览器、桌面软件等场景。不过需注意，上述成绩来自论文自建评测，目前公开信息显示仅是摘要层面的结果，不代表在任意游戏或真实环境中可复现。
对用户/开发者/创作者的影响
对做游戏 AI、具身智能和 GUI 自动化代理的开发者，这篇论文提供了几个可直接借鉴的工程点：用 VLM 做任务编排、用策略上下文判断子任务是否完成、以及把鼠标操作与普通动作分开建模。对想用 AI 代玩或辅助操作游戏的普通用户，短期内不必期待开箱即用的产品；摘要未提及开源代码、API 或上线计划。对内容创作者，原生键鼠操作的思路意味着未来“AI 录屏演示”可能更接近真人操作流程，但同样取决于后续是否开源和实际稳定性。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文是否公开代码与完整实验细节，尤其是长周期任务的可复现性；二是 OpenHA 上 37.4% 的成功率能否在更多游戏和更长任务上提升；三是是否有团队把这种“原生界面 + 分层规划”思路迁移到桌面软件或浏览器自动化产品中。目前公开信息仅来自摘要，以上均待全文与社区复现验证。
