V-JEPA-LM发布:让视频语言模型真正读懂动态,4B模型跑赢8B

研究者提出用“反事实监督”训练语言模型真正读取V-JEPA视频编码器中的动态信息,发布1B至8B的V-JEPA-LM系列模型,其中4B模型在11项视频基准上均分达72.1,超过公开8B模型。这指向一条与主流视频大模型不同的技术路线。

一句话看懂:研究者提出用“反事实监督”训练语言模型真正读取V-JEPA视频编码器中的动态信息,发布1B至8B的V-JEPA-LM系列模型,其中4B模型在11项视频基准上均分达72.1,超过公开8B模型。这指向一条与主流视频大模型不同的技术路线。

事件核心:发生了什么

据Hugging Face Papers收录的论文摘要(标注发布时间为2026年11月13日),研究团队指出:V-JEPA这类世界模型视频编码器能从视频本身学到方向、速度、顺序和状态变化,但接上语言模型后,模型往往只学会检索字幕或问答里提到的少量属性,编码器承载的动态信息被浪费——在相同样本上,线性探针从冻结的V-JEPA特征读速度准确率为87%,而视频语言模型答对率仅相当于随机水平。

论文还定位了动态信息在冻结编码器中的位置:它存在于V-JEPA等预测式编码器跨视频共享的子空间里,而SigLIP这类逐帧、文本对齐的编码器则不具备这一共享成分。作者据此构建“反事实监督”:用像素变换把公开视频转成答案均衡的变体,答案由变换决定、只随变化本身不同。V-JEPA-LM覆盖1B至8B,基于Qwen3和Llama,每帧32个视觉token,用453万公开样本单阶段训练,而公开视频大模型通常需多阶段、900万至1.72亿样本、每帧平均64至256个token。

为什么重要

摘要给出的受控研究结论是:编码器决定“能读到什么”,监督方式决定“实际读到什么”;在同等预算下,反事实监督平均提升4.5分,在自然基准的速度问题上提升38分。这说明视频理解的关键不只在堆数据和算力,而在监督信号是否迫使模型读取动态。若结论经全文实验验证,可能影响视频大模型的训练范式与成本结构。

对用户/开发者/创作者的影响

对开发者,论文附带了代码与模型地址,但摘要未说明权重许可、推理成本和商用条款,目前公开信息显示仅为研究阶段成果,不宜当作可直接上线的产品。对视频内容创作者和企业采购而言,若“少量token读动态”的路线成立,未来视频问答、监控分析、体育与动作类应用的推理成本可能下降;现阶段还应以官方仓库和后续评测为准。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与第三方复现能否支撑“4B跑赢8B”的结论;二是基于Llama、Qwen3的模型权重是否开源、许可如何;三是主流闭源视频大模型是否跟进类似动态监督。评测结果均限于摘要所述任务与条件,不构成永久排名。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 35337

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注