扩散语言模型RL新框架DTCA:按token归因,MATH500最高提升9分

Hugging Face Papers 收录的论文提出 DTCA,用“提交某个 token 后剩余掩码位置预测置信度的改善”来估算该 token 的贡献,并把这一信号用于扩散语言模型的强化学习训练。它试图解决迭代去噪过程中奖励难以分摊到具体 token 的问题。

一句话看懂:Hugging Face Papers 收录的论文提出 DTCA,用“提交某个 token 后剩余掩码位置预测置信度的改善”来估算该 token 的贡献,并把这一信号用于扩散语言模型的强化学习训练。它试图解决迭代去噪过程中奖励难以分摊到具体 token 的问题。

事件核心:发生了什么

论文发布时间为 2026 年 10 月 26 日,主题是为扩散语言模型(DLM)的强化学习设计 token 级信用分配框架 DTCA。扩散语言模型通过多轮去噪、并行细化 token 生成文本,最终结果奖励难以说明哪些 token 真正推动了输出质量。DTCA 的做法是:在 token 被确定后,观察剩余掩码位置的预测置信度提升多少,以此估算该 token 的贡献,再按词性(POS)类别对这些信号分组,用于挑选信息量更高的去噪时间步,并在 RL 训练中分配 token 级学习信号;此外还会依据策略更新带来的 token 级熵变化对信号做校准。根据摘要,在 LLaDA-8B-Instruct 上的实验显示,DTCA 在不同生成预算下稳定提升数学推理表现,MATH500 较基座模型最高提升 9.0 分,GSM8K 提升 5.3 分。

为什么重要

目前主流大模型强化学习多基于自回归生成,奖励可以较自然地落到已生成的 token 序列上;扩散语言模型的生成是迭代去噪式的,信用分配难度更高。DTCA 把“token 贡献”转化为可测量的置信度变化,再叠加词性和熵信号,属于训练方法层面的改进。若这类方法在更大模型和更多任务上成立,可能让开源扩散语言模型在推理能力上更有竞争力,也为 RL 训练框架提供一种新的信号设计思路。不过目前公开信息仅来自论文摘要,尚未看到完整实验细节与同行评审结论。

对用户/开发者/创作者的影响

对普通用户而言,这项研究短期不会带来可直接使用的产品功能,更多是影响未来开源模型的能力上限。对开发者和研究者,DTCA 提供了一种可复用的思路:不必只依赖最终答案奖励,而是从去噪过程本身提取监督信号;如果后续有开源实现,训练扩散语言模型做数学与推理任务时多了一个可尝试的选项。对使用 LLaDA 等开源模型的团队,摘要中的提升数据可以作为关注方向,但不能直接等同于线上服务质量提升,仍需在自己的数据和预算下复现验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,DTCA 是否会在更多扩散语言模型规模和任务(如代码、通用问答)上验证,而不只限于 LLaDA-8B-Instruct 的数学推理。第二,论文是否公开训练代码与超参细节,降低开发者复现门槛。第三,这种 token 级信用分配思路是否会被其他 RL 训练框架借鉴,影响开源与闭源模型在推理训练上的路线选择。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30866

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注