VideoMemBench 发布:多轮对话中视频记忆评测,最强模型得分仅 45.7%

Hugging Face Papers 收录的论文提出 VideoMemBench,专门评测多模态大模型在长视频多轮对话中能否记住“看过什么”和“说过什么”。在摘要给出的评测中,20 多个开源与闭源模型里表现最好的 Claude Opus 5 综合得分也只有 45.7%,说明这项能力仍未过关。

一句话看懂:Hugging Face Papers 收录的论文提出 VideoMemBench,专门评测多模态大模型在长视频多轮对话中能否记住“看过什么”和“说过什么”。在摘要给出的评测中,20 多个开源与闭源模型里表现最好的 Claude Opus 5 综合得分也只有 45.7%,说明这项能力仍未过关。

事件核心:发生了什么

论文作者指出,现有视频问答基准的题目彼此独立,每道题只看视频就能回答,几乎不考察跨轮对话的信息复用。他们提出的 VideoMemBench 让每个样本包含一段视频和一段长多轮对话,轮次之间通过两类依赖连接:情节依赖指向早先描述的视觉片段,考察模型是否记得看过的内容;答案依赖建立在模型自己之前的回答上,考察模型是否记得说过的内容。每条依赖都要求“必要性”和“非泄漏”两项验证,并通过规划、生成、判定三个 LLM 角色构建流程,每段对话还经过人工审核。

数据显示,该基准包含 326 个视频、2,476 个对话轮次,其中 1,387 个轮次依赖更早的轮次,并包含多父依赖和远距离回调。对 20 多个开源和闭源多模态大模型的评测中,Claude Opus 5 综合得分最高,但也仅为 45.7%。论文摘要称数据集与评测已发布,不过目前公开素材仅覆盖摘要层面,全文实验细节尚待核验。

为什么重要

过去评测视频大模型,主要看单题问答准确率;而真实的 AI 应用更接近“边看长视频边追问”的会话形态。若模型无法跨轮检索和复用信息,长上下文就只是名义上的容量,用户需要反复交代背景,多轮对话的产品体验也会明显受损。这项基准把“上下文视频记忆”单独拆出来评测,为模型训练和推理策略提供了更贴近使用场景的标尺。

对用户/开发者/创作者的影响

普通用户在处理长视频会议记录、课程回放或影视内容时,会更容易判断某个模型是否真的“记得前面说过的话”。开发者如果基于多模态 API 构建视频问答应用,需要在提示词之外考虑记忆机制,例如显式维护对话摘要或检索历史回答,而不是默认大模型能自动保持跨轮一致性。创作者用 AI 辅助整理长视频素材时,也应对模型的远距离回调能力保持谨慎预期。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 VideoMemBench 是否被更多团队用于模型选型,以及后续模型得分能否明显提升;二是评测是否覆盖更多视频长度和对话轮数场景;三是开源社区是否会基于该基准改进训练数据与推理框架,让“长视频+多轮对话”从演示功能走向稳定可用的 AI 应用能力。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33040

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注