InfiniDream 提出程序化生成新框架,用 VLM 构建可编辑的逼真 3D 世界

2026 年 10 月 19 日发表于 Hugging Face Papers 的论文提出 InfiniDream,用视觉语言模型(VLM)驱动程序化生成,试图做出可编辑、可批量复现的大规模逼真 3D 世界,而不是让模型直接拼出简单静态网格。

一句话看懂:2026 年 10 月 19 日发表于 Hugging Face Papers 的论文提出 InfiniDream,用视觉语言模型(VLM)驱动程序化生成,试图做出可编辑、可批量复现的大规模逼真 3D 世界,而不是让模型直接拼出简单静态网格。

事件核心:发生了什么

InfiniDream 是一套由 VLM 驱动的开放式程序化 3D 世界生成框架。按摘要描述,它包含两个核心设计:一是“符号约束资产生成”,在已有程序化算法基础上生成新资产,同时保留可编辑性和基于随机种子的多样性;二是端到端文本生成世界流程,把语义场景规划与“确定性视锥引导网格放置”结合,用于精确摆放物体、程序化填充和加入动画。

作者称在 100 个物体生成任务和 20 个场景生成任务上做了评测,四项感知指标均有提升,并补充了多样性分析、消融实验和人类偏好评估。目前公开信息仅为论文摘要,尚未核验全文与实验细节。

为什么重要

程序化生成在合成数据与游戏开发中本就以可控、可编辑、多样性见长,但已有的 VLM 引导方法大多依赖预定义工厂和 API,很难生成全新类型的资产;纯靠 VLM 写代码又容易产出偏简单的 3D 物件。InfiniDream 的价值在于尝试绕开“只有简单资产”和“必须人工开发复杂系统”两端:既借助成熟程序化算法保证画质和可控性,又让大模型参与场景规划与编排。

如果这一路线成立,合成数据生产和大规模 3D 场景搭建的门槛可能下降,对依赖训练数据与环境资产的 AI 应用也有直接意义。

对用户/开发者/创作者的影响

对开发者,文本到世界的流水线意味着未来可以用自然语言描述场景、由模型规划布局并调用程序化资产,减少手工摆位和重复搭建;对 3D 创作者和游戏团队,可编辑性和种子多样性比“一次性生成”更贴近实际生产流程,资产仍可后续修改。对需要合成数据的团队,重点在于能否稳定生成大批量、带标注和变化的场景。不过这些判断都基于论文摘要,尚无法确认工具是否开源、推理成本如何、生成质量在真实项目中是否可用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开代码或模型权重,决定社区能否复现和二次开发;二是 100 个物体、20 个场景的评测规模能否扩展到复杂真实场景,以及感知指标之外的工程可用性;三是与现有程序化内容生成系统和 3D 生成模型的竞品跟进情况,是否有团队把类似 VLM 规划加程序化资产路线做成可用产品。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29596

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注