EgoActionBench:第一人称视频动作理解新基准,测试20个模型

alphaXiv 收录的论文提出 EgoActionBench,用 1,407 段第一人称视频和 41,132 条人工精修动作标注,评测模型能否说清“谁、何时、做了什么”,并显示现有模型在细粒度动作理解上仍有明显短板。

一句话看懂:alphaXiv 收录的论文提出 EgoActionBench,用 1,407 段第一人称视频和 41,132 条人工精修动作标注,评测模型能否说清“谁、何时、做了什么”,并显示现有模型在细粒度动作理解上仍有明显短板。

事件核心:发生了什么

据 alphaXiv 页面信息,论文发布时间为 2026 年 11 月 2 日。EgoActionBench 把连续的第一人称操作视频拆成按时间定位的原子动作,并区分左手、右手和双手协同三类轨迹。素材来自 Ego4D、EgoLife 和 EPIC-KITCHENS-100,共 1,407 段视频、7.982 小时,动作中位时长仅 0.60 秒,对时间边界精度要求很高。

评测没有直接拿自由文本硬比。它先按时间重叠和手别筛选候选预测,再用 Qwen3-32B 判断语义是否一致,最后分别计算语义保真度、时间 IoU 以及一対一匹配的 F1。作者称已测试 20 个基线模型和系统,并对 Qwen3-VL-4B、LLaVA-OneVision-2-8B 做了监督微调加强化学习,EgoActionScore 分别提升 15.9 和 23.2 分,两个适配模型均超过开源基线。需要说明,这些结果只对应论文设定的数据和评测条件。

为什么重要

具身智能和机器人学习越来越依赖人类视频作为训练信号,但“切南瓜”这类粗粒度描述无法区分哪只手在按压、哪只手在切、动作从第几秒开始。EgoActionBench 把动作原子性、时间精度和手部关联作为独立维度来测,指向的是“能用来做动作监督的视频理解”。论文摘要也直言,当前模型在这三方面存在显著限制,通用视频理解和具身智能所需动作理解之间仍有差距。

对用户/开发者/创作者的影响

开发者可以把它看作一个诊断工具:评估视频大模型在细粒度动作标注上的真实表现,而不只是看活动分类或字幕生成。做机器人演示数据、AR/VR 交互或第一人称内容检索的团队,也能借此理解“手别+时间边界”标注成本与模型能力之间的关系。目前公开信息显示,该工作以基准和评测协议为主,尚未提供可直接调用的产品化 API 或已验证的通用工具。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是基准是否公开数据与评测代码,能否被社区复现;二是自动标注训练数据路线会不会扩展到更多模型和场景;三是后续是否有人把这类动作理解能力接入机器人策略学习或第一人称视频编辑应用。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 32232

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注