离散扩散模型也能做ODE采样:ERF框架提出确定性轨迹与一致性蒸馏

论文提出“指数残差流”(ERF),为离散扩散模型构造类似连续概率流ODE的确定性采样框架,并称在代码与文本生成基准上优于此前方法;目前属于研究阶段。

一句话看懂:论文提出“指数残差流”(ERF),为离散扩散模型构造类似连续概率流ODE的确定性采样框架,并称在代码与文本生成基准上优于此前方法;目前属于研究阶段。

事件核心:发生了什么

alphaXiv 收录的论文《An ODE-based Sampler for Discrete Diffusion Models》于 2026 年 10 月 29 日发布。作者为离散状态下的每个 token 位置附加连续“残差”变量,残差按分段 ODE 演化,一旦某个残差归零就触发 token 切换,从而在给定初始 token 与残差后形成确定性轨迹。作者证明该构造在每个固定时刻保持原扩散模型的边际分布,并给出针对 masked 与 uniform 扩散的实用离散化采样器。摘要称,在代码和文本生成等基准上取得相对此前方法的实证提升;需注意论文摘要不等于已上线产品或完整实验报告。

为什么重要

离散扩散用于文本时,反向过程通常逐 token 随机跳转,难以像连续扩散那样靠概率流 ODE 加速。ERF 试图把这种随机性压缩到初始化阶段,使确定性轨迹支持一致性蒸馏和更少网络函数评估(NFE)。作者同时与“Diffusion Duality”的投影方法和基于最优传输的净通量方法作区分,认为后两者仅凭离散状态仍具随机性。若结论成立,这可能为文本离散扩散的推理加速提供一条新路线。

对用户/开发者/创作者的影响

对使用文本生成工具的用户,短期没有直接变化,因为这只是采样方法研究。对开发者而言,值得关注的是同一思路能否与现有离散扩散语言模型结合,减少采样步数并降低推理成本。对内容创作者,若后续出现基于该方法的开源实现,可能影响生成速度与结果一致性,但目前公开信息显示仍以理论证明和小规模基准为主。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否放出代码与完整实验,覆盖更大规模语言模型;二是 ERF 在真实文本生成任务中的质量与 NFE 权衡是否稳定;三是离散扩散采样器之间的竞争是否推动更多开源推理优化实现。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 31619

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注