OmniCompass发布:全模态视频理解基准如何评测50个大模型

OmniCompass 是一个面向全模态视频理解的新基准,同时考察视觉语言与音视频联合模型在时间定位、空间定位和问答上的能力,并首次把“同一目标用文字和图文两种方式指定”作为配对评测条件。

一句话看懂:OmniCompass 是一个面向全模态视频理解的新基准,同时考察视觉语言与音视频联合模型在时间定位、空间定位和问答上的能力,并首次把“同一目标用文字和图文两种方式指定”作为配对评测条件。

事件核心:发生了什么

根据 Hugging Face Papers 收录的论文摘要,研究团队在 2026 年 10 月提出 OmniCompass 基准,用于评测多模态大模型(MLLMs)的视频理解能力。它分为两条评测轨道:OmniCompass-VL 面向视觉语言模型,要求模型依赖视觉证据;OmniCompass-AV 面向全模态模型,要求同时依赖音频和视觉证据。每条轨道都包含三类任务:时间定位(TG)、空间定位(SG)和问答(QA),分别回答目标何时出现、在哪里、发生了什么。

数据规模上,OmniCompass-VL 覆盖 820 个视频、2460 个实例,按短、中、长三种时长划分;其中叙事和音频丰富的子集构成 OmniCompass-AV,包含 240 个视频、720 个实例。每个实例都在纯文本和文本+图像两种配对设置下评测,所有样本经过人工多轮质量校验。摘要称,对 50 个 MLLM 的评测显示,开源模型整体仍落后于闭源模型,尤其在音视频理解上;即使领先模型,精确的时间与空间定位依然困难,且模型在两种目标指定方式下的预测存在不一致。

为什么重要

现有视频理解基准往往只覆盖部分评测维度,难以系统诊断全模态能力。OmniCompass 把“看、听、定位、推理”拆成可比较的任务,并引入配对目标指定,能更细地暴露模型是真正理解视频,还是依赖文本线索猜测。对当前多模态大模型竞争来说,这意味着评测重点正从单帧图像问答,转向长视频、音频联合和时空定位等更难的方向。不过,目前公开信息仅为论文摘要,尚未显示该基准已被同行评审或成为行业标准。

对用户/开发者/创作者的影响

对开发者和研究者,这个基准提供了一套可复用的评测维度,适合在训练或选型视频理解模型时参考,尤其是涉及音视频联合推理的应用。对内容创作者和企业采购者,它提示了一个现实:能生成或描述视频的模型,不一定能准确定位某句话、某个声音或某个物体出现的位置;在剪辑、检索、无障碍字幕等场景落地前,需要针对时空定位单独验证。开源模型与闭源模型在音视频理解上的差距,也可能影响推理成本和部署方案的选择。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 OmniCompass 是否会公开完整榜单和评测代码,让结果可复现;二是后续模型是否会在时间/空间定位和音视频联合任务上明显提升;三是它会不会被更多模型团队纳入常规评测,从而影响视频理解模型的技术路线和产品宣传口径。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29272

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注