World-in-Context 将视角、动作与镜头统一为显式 token,5B 模型导航性能接近 22B

Hugging Face Papers 收录的论文 World-in-Context 提出用 In-Context Conditioning(ICC)统一视频世界模型中的视角、角色动作与镜头控制,而不是依赖分散的条件注入路径;其 5B 模型在论文自建 WBench 上的导航成绩接近 22B 的 EchoWM。

一句话看懂:Hugging Face Papers 收录的论文 World-in-Context 提出用 In-Context Conditioning(ICC)统一视频世界模型中的视角、角色动作与镜头控制,而不是依赖分散的条件注入路径;其 5B 模型在论文自建 WBench 上的导航成绩接近 22B 的 EchoWM。

事件核心:发生了什么

论文摘要显示,World-in-Context 把观看视角、角色动作和相机运动转化为显式 token,放入共享自注意力空间进行条件控制。作者称,显式视角 token 能分离相互冲突的动态,并从单视角数据中获得视角切换能力;动作与相机输入则分别对应局部响应和全局稳定性。为保持执行间隔之间的时间连续性,论文还提出 Interaction-Transport RoPE(IT-RoPE),用累计控制变化参数化时间注意力。摘要给出的数据是:World-in-Context-5B 在 WBench 上导航得分 81.5,与 22B 的 EchoWM(81.6)基本持平;视角切换成功率为 93.8%,而现有 5B 基线仅为 18.8%。上述结果仅来自论文摘要,未见全文实验细节,也未涉及产品上线。

为什么重要

交互式视频世界模型长期存在一个工程难题:视角、动作和镜头控制经常被混在文本提示里,或通过拼接式模块分别注入,模型只能间接学习三者关系。把控制信号统一成 token,意味着模型架构可以更简洁,也让多模态条件组合更自然。如果这一路线在更大规模上成立,可能影响视频生成与世界模型的技术选型,尤其是需要实时交互、导航和因果推演的应用场景。5B 对标 22B 的成绩也值得关注,但需注意评测范围和任务限定,不能直接外推为通用能力排名。

对用户/开发者/创作者的影响

对开发者和研究者而言,ICC 提供了一种可复用的条件控制思路:不必为每种控制单独设计分支,而是把控制变成 attention 可见的上下文 token。这对构建交互式 AI 应用、虚拟场景导航和视频生成工具具有参考价值。对创作者来说,更清晰的视角与镜头分离有望减少提示词层面的含糊控制,但论文尚未展示可直接使用的产品、API 或开源代码,目前公开信息显示其价值主要在方法层面。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,是否会放出模型权重或推理代码,以及能否在公开基准上复现 WBench 数字;第二,IT-RoPE 在长时交互和复杂镜头切换下的稳定性是否经得起独立验证;第三,业界是否跟进 token 化统一控制路线,并出现可调用的 API 或创作工具。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30276

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注