智能体RL新维度:Harness Scaling 让模型跨执行配置泛化

alphaXiv 上的一篇论文提出 Harness Scaling,把智能体执行框架从单一固定配置扩展为多样化训练配置,以提升强化学习策略在未见白盒配置及外部黑盒框架上的泛化能力。

一句话看懂:alphaXiv 上的一篇论文提出 Harness Scaling,把智能体执行框架从单一固定配置扩展为多样化训练配置,以提升强化学习策略在未见白盒配置及外部黑盒框架上的泛化能力。

事件核心:发生了什么

2026 年 10 月 21 日发布的这篇论文指出,现代智能体通过 harness(执行框架)与工具、上下文和长程交互打交道,而现有智能体强化学习通常只在一套固定 harness 上训练,容易过拟合到特定配置。作者把系统提示、工具接口、观测格式、上下文管理和工作流 5 个组件各设 3 种实现,构成 243 种完整配置,再用强度 2 正交设计选出 18 种训练配置,使每个取值和每对取值出现频率均衡,同时保留大量未在训练中出现的组合用于测试。训练算法仍为标准 PPO 或 GRPO,变化只在任务与 harness 实例的分配方式。实验基于 Qwen3-4B-Instruct 和 Qwen3-30B-A3B-Instruct,各训练 300 步,指标为 Pass@1,三次独立运行取平均。

为什么重要

这相当于在“解什么任务”和“在什么环境操作”之外,提出第三条扩展轴:怎么执行。目前公开信息显示,Harness Scaling 在多个评测、模型规模和 RL 算法上,对未见白盒配置的泛化均有提升;经结构化白盒变化训练的模型也能迁移到未见的外部黑盒 harness,表现优于直接在单一复杂黑盒 harness 上训练。对行业而言,这意味着智能体训练不应只追求更大模型或更多任务,如何组织 harness 多样性本身也是可优化的变量。

对用户/开发者/创作者的影响

对做 AI 应用和 API 集成的开发者,论文提示应重视 harness 层的差异:同一任务换一套工具命名、观测格式或上下文策略就可能影响智能体表现。若后续工程化验证成立,团队可在训练与评测中加入受控的配置变化,而不是只针对一个产品界面调优。对使用智能体产品的普通用户,短期没有直接功能变化;论文未表明已上线产品或服务。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是这套方法能否在更多真实产品级 harness 上复现;二是正交选样是否会带来可核算的 token、时间或算力节省,论文目前未报告相关节省数据;三是开源模型与闭源 API 生态中,是否会跟进出现标准化的 harness 多样性评测基准。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29676

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注