一句话看懂：论文提出 GenSight，用同一个预训练视频扩散 Transformer 同时生成未来视频和预测深度、机器人本体分割、首帧相对 2D 光流，试图把具身世界模型中的“想象未来”与“感知结构”合并到一个模型里。
事件核心：发生了什么
根据 alphaXiv 收录的论文摘要（页面时间 2026 年 10 月 29 日），GenSight 基于共享 DiT 主干，将 RGB 视频、深度、embodiment 分割和首帧相对 2D flow 统一成同一种时空表示，并通过轻量任务调制在统一速度预测空间中联合训练。推理时支持两种模式：多步生成未来视频并输出对齐的稠密预测，或从已有视频一步前向推断深度、分割和光流。训练数据覆盖多种机器人本体和人类手部交互。需要说明的是，以上信息仅基于摘要，论文实验细节和完整评测尚未在素材中展开，也不代表已上线产品或经过同行评审。
为什么重要
具身智能通常把“生成未来画面”和“估计几何/运动结构”拆成两套管线，容易让生成伪影污染感知，且两个输出之间缺少共享训练约束。GenSight 的方向是让稠密感知任务作为视频扩散模型的监督信号，而不是额外输入模态，从而让外观、几何、语义和运动在共享表示中互相约束。如果这条路走通，具身世界模型可能从“看起来合理”走向“结构上可用”，对机器人操作、仿真数据和视频理解都有参考价值。但目前公开信息显示，这仍是研究层面的统一框架，效果限定在论文所述的多本体操作数据上。
对用户/开发者/创作者的影响
对开发者和研究者，值得关注的是它复用冻结视频自编码器和共享 Transformer 参数，只靠任务调制区分模态，这意味着未来若开源或提供 API，接入成本可能低于维护多套专用模型。对机器人应用团队，单步稠密感知若真能在观测视频上稳定输出深度、分割和光流，有助于降低在线推理延迟。对视频创作者和内容工具而言，生成视频同时附带对齐的深度与运动信息，可能为后期合成、特效和 3D 重建提供更结构化的中间结果，但这取决于模型是否开放以及推理算力是否可承受。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文是否补充与“直接回归干净稠密潜变量”等替代方案的消融对比，以验证统一速度空间的实际贡献；二是多本体操作数据之外，模型在真实机器人闭环任务中的表现；三是代码、权重或 API 是否开放，以及单步感知在消费级算力上的可行性。
来源：alphaXiv
