AlphaXiv 刊载 TEM 论文:Transformer 能量模型 ImageNet 256 达 FID 3.82

一篇发布在 alphaXiv 的论文提出 Transformer 能量模型(TEM),把能量函数放进潜空间并用 Transformer 扩展规模,在 ImageNet 256×256 类条件生成上取得 FID-50K 3.82(不使用无分类器引导)。它值得关注,是因为能量模型长期受高维采样和训练不稳定困扰,这…

一句话看懂:一篇发布在 alphaXiv 的论文提出 Transformer 能量模型(TEM),把能量函数放进潜空间并用 Transformer 扩展规模,在 ImageNet 256×256 类条件生成上取得 FID-50K 3.82(不使用无分类器引导)。它值得关注,是因为能量模型长期受高维采样和训练不稳定困扰,这项结果试图证明这条路线也能生成高质量图像。

事件核心:发生了什么

据 alphaXiv 页面信息,论文提出 TEM:以 Transformer 作为可扩展的能量函数,整个建模和采样在潜空间完成。作者从网络多个层提取能量并求和,让局部纹理和全局语义约束共同作用。为支撑大规模训练,论文还引入正向表征对齐(PRA),用视觉基础模型监督中间表征,并配合改进的采样策略。按论文摘要,TEM-XL 在类条件 ImageNet 256×256 上 FID-50K 为 3.82,且未使用无分类器引导;在 ImageNet 512×512 上 FID-50K 为 8.24。作者还验证了组合式生成、零样本图像修复和分布外检测能力。需要说明:以上基于摘要,并非完整实验复现,也未显示已通过同行评审。

为什么重要

当前图像生成主流是扩散模型和流匹配,能量模型因采样难、深网络训练不稳定,此前多停留在低维任务。TEM 的意义在于给出一种可能路线:把能量模型做成可扩展的 Transformer,并在潜空间运行,使其有机会进入与扩散模型同一量级的图像合成竞争。对行业而言,这意味着生成模型的技术路线并未收敛,未来评测和产品选择可能不再只看扩散模型阵营。

对用户/开发者/创作者的影响

对开发者,TEM 的核心是“把能量当约束”的思路,研究者可据此探索推理阶段增加采样步数来提升质量的方案;但摘要没有给出代码、权重或 API 发布信息,暂时不能当作可直接调用的工具。对创作者,组合式生成和零样本修复若有成熟实现,可能带来更灵活的局部编辑流程,但目前公开信息不足以判断实际体验与成本。对企业采购,建议只把它作为技术观察项,等复现结果和成熟产品出现后再评估。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开代码和权重,使结果可被第三方复现;二是采样步数、推理算力与图像质量之间的实际权衡是否优于扩散模型;三是能否在更高分辨率和更多数据上保持稳定,以及社区讨论是否出现与作者结论不同的复现反馈。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29960

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注