Open-o3-Video-v2 发布:把视频推理变成可验证的找线索过程

Open-o3-Video-v2 把视频推理改成“先找线索、再给答案”的智能体流程,让模型在时间戳和物体框上留下可核查证据;据论文摘要,其 4B 版本在 V-STaR 上较 Qwen3-VL-4B 主干有明显提升。

一句话看懂:Open-o3-Video-v2 把视频推理改成“先找线索、再给答案”的智能体流程,让模型在时间戳和物体框上留下可核查证据;据论文摘要,其 4B 版本在 V-STaR 上较 Qwen3-VL-4B 主干有明显提升。

事件核心:发生了什么

2026 年 10 月 13 日,Hugging Face Papers 收录了论文 Open-o3-Video-v2。该工作来自 MSALab-PKU,核心是把视频推理重新定义为一个统一的“智能体式证据定位”过程:模型先判断当前信息是否足够,如果不够就调用工具获取额外观察,再把支撑推理的时间片段和物体级边界框写进推理轨迹,最后继续推理或给出答案。相比前代 Open-o3-Video,它不再局限于初始稀疏采样器的固定帧。

为支撑这种行为,作者构建了 STGR-v2-CoT135K 数据集,其中包含 52K 条多轮智能体 grounded 推理轨迹,并另设 STGR-v2-RL-13K 用于强化学习。训练侧提出 Clue-Seek GRPO(CS-GRPO),跟踪工具调用如何改变已积累的证据,奖励线索覆盖率和逐步增益,惩罚过度、重复或无信息量的检索。据摘要,Open-o3-Video-v2-4B 在 V-STaR 上取得 40.4% mAM 和 56.3% mLGM,分别比 Qwen3-VL-4B 主干高 8.5% 和 12.6%,并在通用视频理解、长视频推理和时间定位基准上取得一致增益。代码和模型已释出。

为什么重要

视频推理长期面临一个尴尬:模型可能答对,但说不清依据在哪一帧、哪个物体。Open-o3-Video-v2 把“证据”从附加解释变成推理流程的一等公民:模型必须主动寻找缺失信息,并把时间戳和物体框写入轨迹。这使视频问答更接近可验证的取证过程,而不是一次性黑盒输出。

另一层意义在于训练方法。CS-GRPO 不只奖励最终答案,还奖励线索覆盖和步骤增益,同时约束无意义检索。这为多模态智能体提供了一种可复用的强化学习思路:如何让工具调用真正服务推理,而非变成刷步数的表演。目前公开信息显示,这些结果仍来自论文摘要,尚不能等同于已上线产品能力或经过完整同行评审的结论。

对用户/开发者/创作者的影响

对开发者而言,这类开源模型和代码如果可用,意味着视频理解应用可以更容易地输出带时间戳和物体框的结构化证据,适合做视频检索、内容审核辅助、教育视频问答等场景。对创作者和视频平台,可验证的时间定位有助于提高 AI 摘要、剪辑建议和高光提取的可解释性,减少“模型说对但不知道依据”的不信任感。对普通用户,最直接的变化是未来视频问答可能不只给答案,还会指出“在哪一秒、看哪个物体”,方便自行核对。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

需要注意的是,4B 级模型的实际部署成本、工具调用延迟和复杂长视频中的稳定性,仍取决于后续工程实现,目前摘要没有给出这些细节。

值得关注的后续

一是代码和模型释出后,社区能否复现 V-STaR 上的提升,并在更真实的长视频场景中验证工具调用是否稳定。二是 CS-GRPO 这套奖励设计是否会被其他多模态智能体项目借鉴,形成新的训练范式。三是这类“可验证视频推理”能力能否进入实际产品,例如视频搜索、内容审核或创作辅助工具,并明确其延迟和成本边界。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29092

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注