代码生成视频新基准Code2Video-Compass:2104项任务测评15个多模态大模型

Hugging Face Papers 收录论文提出 Code2Video-Compass,一个覆盖 T2V、I2V、V2V 的通用代码生成视频基准,用 2,104 项任务评测 15 个多模态大模型,结果显示领先模型在完整视频生成上仍不稳定。

一句话看懂:Hugging Face Papers 收录论文提出 Code2Video-Compass,一个覆盖 T2V、I2V、V2V 的通用代码生成视频基准,用 2,104 项任务评测 15 个多模态大模型,结果显示领先模型在完整视频生成上仍不稳定。

事件核心:发生了什么

根据论文摘要(2026 年 10 月 20 日发布),Code2Video-Compass 面向“用代码生成视频”这一路线:模型需把视觉与时间要求转成可执行程序,再产出完整视频。基准包含 2,104 项任务,覆盖 10 个类别、24 个子类型,以及构建、动态动画、状态依赖三个复杂度维度。任务来源既包括文本指令和视觉参考,也包括从专业及用户创作视频派生出的 T2V、I2V、V2V 任务。

评测采用双层框架:12 项客观指标(运行性能、视频质量、文本-视频对齐、参考保真度)加 5 项主观指标,由多模态大模型担任评审,考察指令遵循与整体视频质量。作者对来自 9 个家族的 15 个闭源和开源权重多模态大模型进行了评测。

为什么重要

直接视频生成模型擅长出片,但细粒度控制、定向编辑和组件复用较弱;代码生成视频则把这些能力交给程序化流程。问题在于,此前基准多针对专门任务,缺少对多类别、多输入模态的完整视频创作评估。Code2Video-Compass 补上了这个评测缺口,也让“代码路线”与端到端视频生成路线有了更可比的检验方式。目前公开信息仅为论文摘要,未见全文实验细节和同行评审结论,排名不宜外推为长期定论。

对用户/开发者/创作者的影响

对开发者,基准揭示了 MLLM 在程序化视觉创作上的短板:任务从构建到动态动画、再到状态依赖,表现总体下滑,说明长程状态管理和时序控制仍是难点。对创作者和企业采购方,这类评测可作为挑选模型或 API 的参考维度,但需注意它衡量的是代码生成视频能力,而非直接文生视频产品的成片效果。若后续开放数据集与评测代码,开源社区可能围绕它形成新的微调和工具链方向。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整任务集、评测脚本和模型输出,便于复现;二是后续模型是否针对状态依赖类任务做专项优化;三是这套基准能否被视频生成产品或 API 团队采纳为内部验收标准。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29696

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注