arXiv新论文LIFT:用部分推理轨迹挑选提示词,降低RLVR数据筛选成本

arXiv 上一项新研究提出免训练数据选择器 LIFT,只用不完整的推理轨迹前缀就能给提示词打分,在 Qwen2.5-Math-1.5B 和 DeepSeek-R1-Distill-1.5B 上把 RLVR 的数据筛选成本降低 3.7—9.1 倍,同时下游表现与对比方法 SHIFT 相当。

一句话看懂:arXiv 上一项新研究提出免训练数据选择器 LIFT,只用不完整的推理轨迹前缀就能给提示词打分,在 Qwen2.5-Math-1.5B 和 DeepSeek-R1-Distill-1.5B 上把 RLVR 的数据筛选成本降低 3.7—9.1 倍,同时下游表现与对比方法 SHIFT 相当。

事件核心:发生了什么

2026 年 10 月 20 日,arXiv cs.AI 收录论文《Training-Free Prompt Selection for Efficient Reinforcement Learning With Partial Rollouts》。论文关注带可验证奖励的强化学习(RLVR)训练推理模型时算力开销大的问题。作者指出,在其实验数据集中,有 26%—32% 的完整贪婪 rollout 无法在生成预算内结束,导致依赖完整轨迹的免训练提示词价值估计失效。为此他们提出 LIFT,核心指标 PRCL 借鉴逐点 V 信息,计算“带问题的上下文”与“去掉问题的空上下文”之间逐 token 的对数似然比,从而只需一段短前缀就能为提示词打分。摘要称,在 Qwen2.5-Math-1.5B 上保留完整 PRCL 分数 90% 的前缀仅需完整 rollout 26% 的 token,在 DeepSeek-R1-Distill-1.5B 上保留 95% 分数只需 4.7% 的 token。以上信息来自论文摘要,全文实验细节尚未核验。

为什么重要

RLVR 已成为训练推理模型的主流路线之一,但数据池越大,采样和 rollout 消耗的算力越多。此前一类免训练选择方法需要完整生成轨迹,遇到长推理任务时被截断问题明显。LIFT 把选择依据前移到短前缀,意味着开发者可以在训练前以更低成本筛出更有信息量的提示词,再决定是否投入完整 rollout。对算力紧张的中小团队和开源模型微调场景,这类数据侧优化可能比扩大模型规模更直接。不过目前公开信息显示,相关验证集中在两个 1.5B 级数学推理模型和六个基准上,尚不足以判断其在大模型、多任务上的普适性。

对用户/开发者/创作者的影响

对开发者而言,LIFT 的价值主要在 RLVR 训练流水线的预处理环节:若后续开源代码可用,团队可以先用短生成做提示词排序,再对高价值样本做完整强化学习,从而压降训练前的筛选开销。对使用 Qwen2.5 或 DeepSeek 蒸馏系列做数学推理微调的团队,这是一个值得跟踪的数据选择候选方案。普通用户和内容创作者短期内不会直接感知,因为论文未涉及产品功能或 API 变化;它影响的是模型训练效率,而非终端应用体验。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否公开 LIFT 实现,以及 PRCL 打分对前缀长度的敏感度是否被更完整实验覆盖;二是该方法在更大参数量模型、非数学任务和更长推理链上的表现;三是 SHIFT 等同类免训练选择方法是否会跟进部分轨迹方案,形成新的效率对比。就目前信息看,LIFT 仍是论文阶段的算法贡献,不宜等同于已落地工具。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29569

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注