P³-WAM统一世界动作模型：一个网络同时做手部重建、视频预测与规划

事件核心：发生了什么

根据论文摘要，P³-WAM 是一个“统一世界动作模型”，面向第一视角的灵巧操作。它通过三种互补模式工作：Perceive 从视频中重建关节式手部运动和相机轨迹；Predict 在给定动作下生成未来视频；Plan 则根据初始图像、语言指令和可选的目标图像，联合生成动作轨迹及其预期视觉结果。

技术实现上，模型把结构化的 3D 动作表示接入预训练的视频扩散 Transformer，采用类似“Transformer 混合”的架构：视频流和动作流共享基础权重，各自有模态适配，并通过双向视觉-动作注意力交互。缺省的动作由可学习查询补全并直接预测，视频帧则通过迭代去噪生成。论文提到，统一训练在 5,000 步条件下，三项能力均优于单模式训练；在 3D 手部重建和动作条件视频预测上，跨四个数据集超过专用基线。这些结论目前来自论文摘要和页面素材，尚不代表已有可用的产品化系统。

为什么重要

手部重建、动作条件预测和目标导向规划，过去大多被分开研究，或在少数子集上拼接。P³-WAM 的价值在于用一套共享表示来连接“动作”与“视觉后果”，让模型既能看懂手在做什么，也能提前想象动作会导致什么画面，再反过来生成动作。对第一视角灵巧操作而言，这意味着视频生成和动作规划不再是两条平行线，而可能共用一个基础模型。与 DreamZero 等同样联合预测视频和动作的工作相比，论文强调自己的差异在于第一视角灵巧操作、显式手部和相机轨迹、以及基于视频的重建与预测。

对用户/开发者/创作者的影响

对开发者和研究者，这项工作的直接启发是：视频扩散模型可以作为灵巧操作策略的“世界模型”底座，动作轨迹不再只是标签，而是与视频共享注意力、互为条件。对机器人或具身智能团队，如果后续代码和权重开放，可能降低从演示视频中提取手部动作、再训练操作策略的门槛。对内容创作者和 AR/VR 工具开发者，手部与相机轨迹的联合重建与预测，未来或可用于第一视角视频编辑、手势驱动生成等场景，但当前仍处于论文阶段，不宜当作现成 API 或产品能力。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

第一，关注项目页面是否公开代码、模型权重或演示，以及训练数据与计算规模是否披露。第二，关注该统一架构能否在真实机器人或头显设备上闭环运行，而不只是离线评测。第三，关注同类世界动作模型在动作精度、推理延迟和泛化到新任务上的对比结果，尤其是跨数据集评测是否可复现。

来源：alphaXiv