一句话看懂：alphaXiv 于 2026 年 10 月 26 日介绍了一篇论文，提出 SpeeDiff 方法，把 VAE 与扩散模型放在一起从零训练，并用像素级损失约束潜在空间，避免联合训练常见的崩溃问题，在 ImageNet 上报告的收敛速度明显快于两阶段基线。
事件核心：发生了什么
常规的潜在扩散模型大多分两步走：先训练 VAE，再把编码器冻结住训练扩散模型。SpeeDiff 的思路是让扩散损失直接回传到 VAE 编码器，使潜空间更适配生成任务。但作者发现，如果按朴素方式做端到端训练，性能会大幅下降，潜在表示出现塌缩：潜变量误差接近零，像素重构误差却在上升。
为此，论文提出 Tweedie 像素重构损失（TPR）：从中间噪声状态出发，用 Tweedie 公式估计干净潜变量，再解码回像素空间，与真实图像比较，从而给编码器补上像素级反馈。论文提到的受控对比基于 ImageNet 256×256、无引导、训练 80 轮：朴素端到端训练的 gFID 为 33.95，加入 TPR 后降至 5.79；经过架构改进和 REPA++ 对齐后进一步到 1.69。作者还报告 SpeeDiff-XL 在 ImageNet 256×256 无引导下 FID 为 1.50，在 ImageNet 512×512（32 倍压缩 VAE）无引导下 FID 为 1.53，并称相比 Vanilla SiT 和 REPA 收敛分别快 140 倍以上和 61 倍。需要说明，素材中的提速是收敛速度比较，并非墙钟时间。
为什么重要
它触及扩散模型的一条基础路线：潜空间究竟该为重构服务，还是为生成服务。SpeeDiff 尝试让两者一起优化，并给出一个代价较低的约束手段。如果结果能在更多数据和任务上复现，可能降低训练成本、缩短实验周期，也会影响图像生成模型在架构设计上的取舍。不过目前公开信息仅来自论文摘要与页面解读，尚未看到完整的独立复现或产品化落地。
对用户/开发者/创作者的影响
对开发者而言，TPR 更值得当作一个训练技巧来关注：联合训练时加一道像素锚定，可能是避免潜空间退化的实用补丁。对图像生成应用和创作工具来说，训练收敛更快意味着单位算力能跑更多实验，但最终出图质量、可控性和推理成本仍取决于完整系统，不能仅凭 FID 数字判断。对使用 API 或闭源服务的用户，这类研究短期内不会直接改变产品体验，更多是背后训练效率的改进。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 TPR 能否在更大规模数据、文生图等条件生成任务上保持收益；二是 140 倍/61 倍这类收敛加速，在同等硬件、同等墙钟时间下是否仍然成立；三是后续是否出现开源实现，以及主流图像生成框架是否跟进这一联合训练思路。
来源：alphaXiv
