一句话看懂：alphaXiv 收录的论文 TAPESTRY 提出一种“世界动作模型”，把预训练视频扩散 Transformer 直接改造成机器人策略，推理时不再生成视频，据摘要称在消费级硬件上每段动作块只需 84 毫秒。
事件核心：发生了什么
论文的核心思路是把机器人每个时间步的动作压成一个 token，映射到视频模型 VAE 隐空间的单块 patch 维度，再走与视频共用的 patchify 卷积、反嵌入和 Transformer 主干。素材显示，为 20 维动作新增的投影模块仅约 1280 个参数。训练时混合三种扩散目标：用机器人和人类视频做视频扩散以学习动力学先验；在机器人演示上做视频与动作联合扩散，采用耦合扩散步和不对称注意力掩码；以及仅以干净图像隐变量为条件的动作扩散。测试时只跑动作通路，单步 DDIM 从纯噪声出动作，无需 VAE 解码器。摘要给出的条件是消费级硬件、每个动作块 84 毫秒、约 9GB 显存；在仿真基准和真机实验中，性能优于或接近同类视频-动作联合策略，且推理成本明显更低。真机上“黄乐高砖放到木制回旋镖”这类演示中未出现的物体组合，论文报告 5/5 成功，但该样本量很小，不能据此认定广泛的物体组合泛化能力。
为什么重要
机器人策略长期面临视频先验好用但推理太贵的问题：要么测试时生成未来视频，要么从零训练动作头，浪费主干能力。TAPESTRY 把“生成像素”换成“读出动作 token”，试图证明有用先验存在于主干权重而非生成画面中。若后续复现成立，这为复用视频生成大模型提供了更低算力的机器人控制路线，也影响具身智能的模型架构选择。
对用户/开发者/创作者的影响
对开发者，关键信号是动作通路与视频通路共享主干、新增参数极少，意味着基于现有视频扩散模型做微调或继续预训练的门槛可能下降；84 毫秒的动作块时延和 9GB 显存若可复现，对本地部署和闭环控制都较友好。对创作者的直接影响有限，因为目前公开信息显示这只是论文与项目页，并非已上线的产品、API 或开源工具，尚不能直接调用或商用。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是作者是否开源代码与权重，以及真机实验能否被第三方复现；二是消融细节，素材提到绕过共享 patchify 卷积会发散、去掉层归一化后 LIBERO 五轮平均成功率从 58% 降至 33%，这提示共享结构不可随意简化；三是与需要测试时生成视频的联合策略做更系统的成本与成功率对比。
来源：alphaXiv
