HexaShell让VLM编码智能体操控双臂机器人,RoboDojo成功率39.7%

HexaShell 让基于 VLM 的编码智能体通过命令行操控双臂机器人,在 RoboDojo 的 42 项任务上取得 39.7% 成功率和 48.0 进度分,被论文描述为该基准的新最优。它值得关注的地方不只在于分数,而在于把智能体的经验固化成了可复用的代码工具。

一句话看懂:HexaShell 让基于 VLM 的编码智能体通过命令行操控双臂机器人,在 RoboDojo 的 42 项任务上取得 39.7% 成功率和 48.0 进度分,被论文描述为该基准的新最优。它值得关注的地方不只在于分数,而在于把智能体的经验固化成了可复用的代码工具。

事件核心:发生了什么

Hugging Face Papers 收录的论文摘要显示,HexaShell 是一个刻意做薄的执行外壳,只负责把智能体发出的命令转成机器人动作。智能体通过一条命令行驱动双臂机器人,输入是三路 RGB 相机画面,并掌握相机标定信息。每次失败后,它读取日志、定位原因,再编写或修复称为 tool 的小程序,把学到的东西保留为代码,而不是参数或权重。

这些工具只能使用机器人自身观测到的信息,通过三角定位判断物体相对彼此和夹爪的位置;头部相机不够用时,机器人会移动腕部相机获取第二视角。摘要称,工具仅在每个任务一个随机种子的十种布局上构建,随后冻结并在同种子下十个新布局上测试。评测使用 Codex 搭配 GPT-6-Astra,推理强度为 medium。在全部 42 个 RoboDojo 任务上,平均成功率为 39.7%,进度分 48.0,统计口径与榜单一致。作者同时公开了目前已演化出的工具代码。

为什么重要

目前公开信息显示,这个结果的意义在于验证了一条不同于端到端策略学习的路线:让大模型智能体像修测试一样修机器人程序。它把推理能力和运动控制分开,薄外壳降低了智能体与硬件之间的耦合,失败日志则成为下一轮代码修改的输入。这类可解释、可沉淀的“代码化经验”对机器人应用开发有直接参考价值。

但摘要也给出了清楚的边界:瓶颈在接触而非推理。推任务成功率达 92.5%,带记忆的任务为 65.0%,而精细插入只有 8.3%。智能体往往能看懂失败原因,却无法让动作真正做对。这说明在高精度力控和接触丰富的操作上,仅靠视觉与代码生成仍不够。

对用户/开发者/创作者的影响

对开发者而言,这套设计的启发在于工具层和外壳层的职责划分,以及将三角定位、平面求交、主动移动腕部相机等视觉几何操作封装成可复用工具。GitHub 上已开源的演化工具可以作为研究起点,但摘要未说明其成熟度、硬件适配范围和许可证,不宜直接当作生产组件。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对关注机器人落地的团队来说,推、抓取等相对简单的任务已具备一定成功率,精细装配仍是短板。若考虑采用 VLM 智能体方案,应优先评估任务对接触精度的要求,并准备传统控制或专用策略作为兜底。

值得关注的后续

一,作者提到已开源工具,后续是否补充完整实验、失败案例和复现说明,将决定该路线能否被社区验证。二,精细插入仅 8.3%,后续工作是否引入力觉、触觉或多轮自我修正来突破接触瓶颈。三,39.7% 是限定在 RoboDojo 42 项任务和特定模型配置下的结果,其他团队在相同条件下能否复现,是判断其行业意义的关键观察点。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29386

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注