RoboJev-27B开源机器人成功判定模型:单卡H100推理0.26秒,AUROC达0.993

Hugging Face Papers 上出现一个开源权重视觉语言模型 RoboJev-27B,专门判断机器人操作任务是否成功;在同型号机器人留出测试集上报告 95.2% 平衡准确率和 0.993 AUROC,单张 H100 推理中位耗时 0.26 秒。

一句话看懂:Hugging Face Papers 上出现一个开源权重视觉语言模型 RoboJev-27B,专门判断机器人操作任务是否成功;在同型号机器人留出测试集上报告 95.2% 平衡准确率和 0.993 AUROC,单张 H100 推理中位耗时 0.26 秒。

事件核心:发生了什么

根据论文摘要,RoboJev-27B 是一个开放权重的视觉语言模型,输入包括任务指令、一次操作尝试的 10 帧画面,以及可选的辅助相机最终帧,输出成功或失败的概率。它是 JEV-27B-VL 的变体,只在语言模型部分训练 rank-32 LoRA 适配器,视觉编码器保持冻结,训练数据为 52,598 条 episode 记录。方法上还用了仅作用于研究数据来源的 KL 惩罚,并采用双 token 校准读出,单次前向即可给出概率。

评测方面,摘要称在 SO-101 机器人同型号的 268 条留出 episode 上达到 95.2% 平衡准确率、0.993 AUROC;在来自未见实验室或机器人的 459 条 episode 上 AUROC 为 0.890,在社区采集的 135 条带清晰标签 episode 上准确率 93.3%。成本数据为单张 H100 每 GPU 小时 2.69 美元,不含媒体处理和 serving 成本。作者同时公开推理代码和 20,628 条预测,组织成 29 个模型/协议条目,便于复现。

为什么重要

机器人操作视频本身通常不标注任务是否完成,人工逐条核对成本高,也难以规模化。RoboJev 试图把“成功判定”做成一个独立、可复用的模型能力,并为后续评测提供公开基准,这对具身智能数据清洗、策略评估和训练闭环都有直接价值。另一个看点是它选择开源权重和推理代码,而不是只提供 API;如果结果可复现,会降低机器人团队自建判定模块的门槛。

不过,摘要中的对比对象是只输入 4 帧主相机的 API 前沿模型,作者也明确说明这不是严格同条件比较,因为 RoboJev 在推理时拿到了更多画面。因此当前结果更适合理解为特定设置下的报告值,不宜当成跨模型的永久排名。

对用户/开发者/创作者的影响

对开发者而言,目前公开信息显示该项目提供推理代码和权重路径,适合在自有机器人日志上做二次验证,但要先确认 27B 参数规模带来的显存和 Latency 要求。对机器人公司与数据团队,这类模型可先用作离线质检和失败样本筛选,是否上线上实时控制回路仍需评估误判代价。对内容创作者和普通用户,短期内影响有限,它的价值更多在机器人研发和评测环节。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是代码和权重是否真正开放可跑,复现能否达到摘要中的数字;二是对未见机器人、不同相机布局的稳定性能否在更多实验室数据上验证;三是成功判定会不会被集成进机器人训练与评测工具链,形成事实标准。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30527

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注