清华KEG发布Event-STVG基准:最强MLLM十分钟视频事件定位仅5.4%

清华大学KEG实验室在Hugging Face Papers发布Event-STVG任务与基准,把视频时空定位从“找描述中的目标”推向长视频事件级推理,并显示当前最强多模态大模型在10分钟视频上的m-vIoU只有5.4%。

一句话看懂:清华大学KEG实验室在Hugging Face Papers发布Event-STVG任务与基准,把视频时空定位从“找描述中的目标”推向长视频事件级推理,并显示当前最强多模态大模型在10分钟视频上的m-vIoU只有5.4%。

事件核心:发生了什么

根据论文摘要,Event-STVG要求模型在长视频中同时完成事件级时空定位、重复事件区分、角色推断和多目标接地,覆盖足球等八个领域,共标注4,016个事件发生片段。摘要介绍,该基准针对现有STVG评测多依赖实例描述、与长文本推理脱节的问题而设计,代码与标注已在GitHub开源。需要注意,以上信息来自摘要,全文实验细节尚未核验。

为什么重要

视频理解正在从短视频片段识别转向长视频事件理解,而MLLM在“看懂画面”之外,仍缺少跨时间关联、重复同类事件消歧和角色关系推断的能力。Event-STVG把容易混淆的重复事件、空间定位瓶颈和多角色联合接地设为评测重点,有助于把长视频推理从演示场景拉回可量化的基准测试,也为后续模型训练与评测提供统一参照。

对用户/开发者/创作者的影响

对开发者而言,这意味着视频检索、监控回放、体育赛事分析等AI应用若涉及长视频事件定位,仍不能只依赖现成MLLM API,需要针对事件边界、角色约束和多目标输出做专门设计。对内容创作者和视频平台,类似能力可用于自动切片、事件索引和素材检索,但摘要显示当前准确率很低,短期内更适合作为研究基准,而不是可直接上线的产品能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是后续是否有模型在Event-STVG上明显提升,尤其是10分钟长视频条件下的联合接地表现;二是开源代码与标注能否被社区扩展出更多领域和评测协议;三是该任务是否会进入视频理解模型的训练或评测流水线,形成新的能力门槛。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29585

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注