无参考奖励也能训模型:校准决策奖励让Qwen3-1.7B数学准确率提升4.65分

arXiv 上一篇新论文提出 RLCDR,把 LLM 改造成带概率输出的“判卷模型”,在不需要标准答案的情况下为强化学习提供校准奖励,在 MATH 任务上训练 Qwen3-1.7B 取得接近答案键的效果。目前仅为论文摘要信息,实验尚未经全文与同行评审核验。

一句话看懂:arXiv 上一篇新论文提出 RLCDR,把 LLM 改造成带概率输出的“判卷模型”,在不需要标准答案的情况下为强化学习提供校准奖励,在 MATH 任务上训练 Qwen3-1.7B 取得接近答案键的效果。目前仅为论文摘要信息,实验尚未经全文与同行评审核验。

事件核心:发生了什么

2026 年 11 月 20 日发布在 arXiv cs.AI 的论文提出 RLCDR(Reinforcement Learning from Calibrated Decision Rewards)。其做法是让一个 LLM 回答关于回复的类型化问题,例如“最终答案是否正确”“第一个错误步骤在哪”,并输出概率分布;该分布经选项顺序去偏和约一百个标签校准。作者用 GRPO 在 MATH 上训练 Qwen3-1.7B,MATH500 准确率从 72.2% 升至 76.8%(+4.65 分,p < 1e-4),与使用答案键训练的 76.9% 基本持平;随机奖励仅提升 0.65 分。最难题目档从 44.8% 升至 51.7%。

为什么重要

强化学习能教给语言模型的东西,受限于奖励信号能识别什么。答案检查器精确但依赖参考答案,学习型奖励模型和 LLM 评委适用范围广,但分数不是概率。RLCDR 试图把“评委”变成可校准的决策模型,让无参考答案的奖励更接近可用的训练信号。摘要还显示,其预期校准误差为 0.074,低于同一 27B 底座上 softmax 评委的 0.141;且未见奖励作弊迹象。这为数学等可验证任务之外、缺少标准答案的训练场景提供了一条技术路径,但结论仍需更多复现验证。

对用户/开发者/创作者的影响

对开发者而言,这意味着未来可能用更少人工标注构建 RL 奖励,降低微调与推理优化的数据成本;对使用开源模型的团队,Qwen3-1.7B 这类小模型配合校准奖励可能获得更实用的数学推理提升。对普通用户,短期内不会直接变成产品功能,更多是训练效率与模型质量改进的底层变量。创作者和企业采购仍应等待完整实验、复现结果和实际 API 或模型发布,目前公开信息显示这还是一篇研究论文。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否公开代码、校准标签流程和更多任务上的实验结果;二是该方法在更大模型、非数学任务和分布偏移下的校准稳定性;三是是否有开源或闭源团队将其转化为训练工具、API 或模型服务。摘要也指出,仅用基座模型大多失败的问题训练时,无参考奖励仍提升 1.9 分(p = 0.03),但落后于答案键,原因是概率在该分布上过于自信,这也是后续需要观察的边界。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36129

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注