一句话看懂：一篇预印本论文提出用价值型强化学习在部署阶段对通用机器人策略做多任务持续改进：训练任务越多，策略不仅在训练任务上变好，在未见过的新场景、新物体上也出现明显提升。
事件核心：发生了什么
据 alphaXiv 收录的预印本论文《Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement》（Korniak 等，arXiv:2611.06905v1，仍在评审中），研究团队以 π0.5 为起始策略，在 MolmoSpaces 模拟抓取环境中设计结构化评测，比较三种路线：只用成功经验做有监督微调（FSFT）、冻结策略权重并用学习到的 critic 从候选动作中挑选（Best-of-N），以及同时训练 critic 并更新策略的 OGPO。
结果显示：在线训练任务从 1 个扩展到 144 个时，critic 引导的方法在留出任务上的迁移明显强于 FSFT。最大增益出现在特定设置下——物体不变、场景更换时成功率绝对值提升最高 58 个百分点，物体也更换时最高 39 个百分点。作者强调这是测试配置中的最大值，不是每个任务的平均收益；训练集设计上让初始策略平均成功率保持在约 30% 附近。
为什么重要
通用机器人基础模型通常零样本能力不错，但真正落地仍需针对部署环境适配。若为每个场景单独微调，就等于把通用模型拆成一堆专用模型，人力成本也不可扩展。这项工作给出的关键结论是：基于价值的强化学习加多样化训练任务分布，是让通用策略在部署中“越练越通用”的两个必要条件，而不是只把单个任务刷到更高分。目前公开信息显示，这是较早把在线通用改进与跨任务泛化放在同一评测框架下检验的证据之一。
对用户/开发者/创作者的影响
对机器人开发者，这条路线意味着部署阶段的经验可以跨任务汇总复用一个 critic，而不必为每个工位重训策略；训练任务覆盖度会直接影响迁移上限，数据采集的多样性因此成为核心投入。对关注具身智能的企业，论文对比的是模拟环境中的方法，短期更适合评估算法选型与数据策略，不应据此推断真实产线可直接收益。FSFT 在训练任务上也有提升，说明“简单微调”并非无效，差距主要体现在留出任务上的泛化。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该方法能否从 MolmoSpaces 模拟环境迁移到真实机器人，以及真机数据效率如何；二是训练任务继续扩大后增益是否饱和，或出现任务间干扰；三是 π0.5 之外的通用策略模型、闭源商业机器人平台是否跟进类似 critic 引导的在线改进流程。论文目前为预印本，具体实验细节与结论强度以正式评审版本为准。
来源：alphaXiv
