扩散语言模型算力成本随任务与语言大幅波动，HF论文给出解码速度新信号

一句话看懂：2026 年 10 月 19 日发表于 Hugging Face Papers 的一项论文摘要指出，扩散语言模型生成同样长度的文本，所需前向次数会因任务和语言而显著不同；论文还发现解码成本与答案正确性相关，可作为推理优化的信号。

事件核心：发生了什么

扩散语言模型可以在一次前向中写出多个 token，并在生成过程中自行决定投入多少轮前向。这意味着，两段 token 数量相同的输出，实际算力成本可能相差很大。上述论文摘要称，作者分析了两个扩散模型在 10 项任务上的表现，发现每个 token 所需前向次数高度依赖任务类型：从输入中复制或轻微改写的文本成本低，开放式写作成本高。以 DiffusionGemma 为例，写故事时每生成一个 token 所需前向次数是语法纠错的三倍以上。

摘要将差异归因于两个输出属性：相对输入的新增内容比例，以及词在任务内的稀有程度。在带推理过程的回复中同样如此——最终答案若重复推理轨迹，成本较低；若补充新信息，成本上升。多语言场景下，分词粒度高的语言每个 token 还需要更多前向，叠加原本就更多的 token 数量，成本进一步放大。此外，摘要报告在相同数学题上，错误答案的每 token 前向次数高于正确答案；按解码速度对候选答案加权，在无额外成本的情况下比多数投票最高提升 4.2 个百分点。上述结论均来自论文摘要，未核验全文实验，也未说明已同行评审或产品化。

为什么重要

扩散语言模型常被讨论为一种可能改变推理效率的技术路线，但“并行生成多个 token”并不等于成本必然下降。该摘要提示，成本与输出中有多少内容已被输入或上下文“确定”密切相关。这对大模型推理的算力规划、批处理调度和成本预估都有参考价值：同一模型在不同任务、不同语言上的单位 token 成本不能简单套用平均值。同时，解码过程本身可能携带正确性信号，若后续研究能够复现，或为推理阶段的质量筛选和资源分配提供新思路。

对用户/开发者/创作者的影响

对开发者而言，接入扩散语言模型 API 或自部署时，需要按任务类型和语言分别评估延迟与算力开销，而不是只看输出长度；开放式创作、多语言内容生成的成本可能明显高于改写、纠错类任务。对创作者来说，这意味着“让模型自由发挥”和“让模型整理已有材料”在成本结构上并不对等。目前公开信息显示，这些结论来自摘要层面的任务分析，尚不能直接推导出某款商用产品的定价或性能表现。