EDEN 论文提出在嵌入空间加锚定噪声,改进 LLM RLVR 探索

Hugging Face Papers 收录的论文 EDEN 提出,在强化学习可验证奖励(RLVR)的训练中,不再只靠调高采样温度或修改策略更新,而是在 rollout 源头给输入嵌入加入带共享锚点的扰动,让同一策略产生更多差异化轨迹,从而增强 GRPO 的组内相对优势信号。

一句话看懂:Hugging Face Papers 收录的论文 EDEN 提出,在强化学习可验证奖励(RLVR)的训练中,不再只靠调高采样温度或修改策略更新,而是在 rollout 源头给输入嵌入加入带共享锚点的扰动,让同一策略产生更多差异化轨迹,从而增强 GRPO 的组内相对优势信号。

事件核心:发生了什么

该论文(来源页面标注时间为 2026 年 10 月 12 日)针对 RLVR 的常见问题:每个 prompt 只做少量 rollout 时,同一策略反复采样容易得到高度相似的轨迹,组内奖励差异变小,GRPO 一类组相对方法的优势信号被削弱。现有做法如提高采样温度、熵奖励、非对称裁剪、扩大 rollout 预算,多是在采样或策略更新层面做调整。

EDEN(Embedding-space Directional Exploration via anchored Noise)改为干预 rollout 的输入:在同一 rollout 预算下,把每组中一小部分标准 rollout 替换成“prompt 加一个扰动嵌入位置”之后由同一策略生成的轨迹。高斯噪声提供变化,共享锚点让同一 prompt 组内的扰动 rollout 保持共同条件方向;这些扰动轨迹以降低权重的优势参与 GRPO 更新,模型架构、离散解码和测试时推理均不变。目前公开信息仅为摘要,未核验全文实验细节。

为什么重要

大模型在数学推理等可验证任务上的强化学习,瓶颈往往不在算力预算,而在采样多样性。EDEN 的价值在于把探索前移到输入嵌入层,与温度、熵奖励等策略侧手段形成互补,不增加推理阶段复杂度,也不改动解码流程。摘要称,在多个模型规模和数学推理基准上,EDEN 优于同一流程中的 GRPO 及所对比的探索控制方法,最大提升体现在采样解的覆盖度;分析还显示更多 prompt 组获得非零组相对学习信号,噪声与锚定作用互补。这些结论均限定在摘要所述任务与条件下,不代表永久排名。

对用户/开发者/创作者的影响

对做 RLVR 训练的开发者,这是一个可叠加在现有 GRPO 流程上的轻量思路:只需在数据侧构造“prompt+扰动嵌入位置”的 rollout 变体,并对优势降权,不必改动模型结构。对使用开源训练框架的团队,它可能降低为获得探索性而盲目上调温度带来的稳定性风险。对普通用户和内容创作者,目前没有直接可用的产品功能或 API 变化,影响主要体现在后续模型推理能力的训练方法上。企业采购和推理服务方暂时无需据此调整部署方案。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是是否有开源实现或训练框架集成,方便开发者复现;二是扰动比例、噪声尺度和锚点设计在更大模型与更多任务上的敏感性;三是能否与温度、熵奖励等既有探索手段组合,并在真实训练成本下保持收益。以上均需等待全文与社区复现验证,目前公开信息不足以判断工程落地难度。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29386

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注