FL4N:冻结静态先验、加时变残差,实时生成4D新视角

2026年10月26日公开的论文FL4N提出一种前馈式潜空间4D新视角合成方法,不依赖显式4D高斯,在ADT跨数据集评测中优于C4G,并声称可实时渲染。

一句话看懂:2026年10月26日公开的论文FL4N提出一种前馈式潜空间4D新视角合成方法,不依赖显式4D高斯,在ADT跨数据集评测中优于C4G,并声称可实时渲染。

事件核心:发生了什么

FL4N来自alphaXiv收录的论文,目标是让模型在未见过的视角和时间点渲染动态场景。按作者摘要,它把4D先验编码进统一的潜表示,而非构建显式4D高斯基元;具体做法是冻结预训练静态编码器和渲染器,只训练一个轻量动态编码器,利用静态特征把物体运动与相机视差分开。时间维上,观测时刻取该帧时间令牌,中间时刻对相邻令牌线性插值,再把时变残差叠加到静态潜表示后送入原渲染器。训练只用图像合成目标,同时用光流阈值生成伪动态掩码作为辅助监督,不使用密集3D几何或运动标签。评测在ADT上、不使用上下文位姿和测试时位姿对齐:FL4N报19.693 dB PSNR、0.5948 SSIM、0.4490 LPIPS,C4G为18.900、0.5813、0.5833。以上数据仅限该论文设定条件,不代表长期排名。

为什么重要

动态新视角合成长期在“显式表示易产生鬼影和空洞”与“动态数据稀缺、训练昂贵”之间取舍。FL4N的思路是把静态大模型的先验成本前置,只学习增量动态,这降低了4D建模对动态训练数据的依赖,也避开显式高斯基元带来的渲染伪影。它属于潜空间路线,对DyST等已有工作不是推翻,而是更明确地以目标时间和目标相机为条件做渲染。若结论成立,这类前馈方案可能把4D重建从离线优化推向更接近实时推理的形态。

对用户/开发者/创作者的影响

创作者可理解为:给定一段手机视频和期望的机位与时刻,模型直接合成画面,而不必先搭出可编辑的3D高斯场景,后期补拍或改机位的门槛可能下降。开发者角度,目前公开信息只有论文与项目页,尚无开源代码、API或产品声明;冻结主干加轻量动态头的结构,理论上更容易复用现有静态图像模型,但真实视频泛化、伪掩码依赖和算力开销仍需代码与第三方复现验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是是否放出代码与预训练权重,决定社区能否复现实时渲染与ADT指标;二是能否在更多真实视频上稳定区分物体运动与相机视差;三是与显式高斯类方法的推理速度、显存占用和编辑能力对比,以及是否出现产品化或云服务接入。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 30348

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注