Self-HPO:让编码智能体的策略与工具链交替进化,Qwen3.5 解决率提升7个百分点

Hugging Face 论文提出 Self-HPO,让编码智能体一边用强化学习更新策略模型,一边由模型自己提出新的运行框架(harness),在三个编码基准上把 Qwen3.5-35B-A3B 的平均解决率从 57.8% 提升到 64.8%。

一句话看懂:Hugging Face 论文提出 Self-HPO,让编码智能体一边用强化学习更新策略模型,一边由模型自己提出新的运行框架(harness),在三个编码基准上把 Qwen3.5-35B-A3B 的平均解决率从 57.8% 提升到 64.8%。

事件核心:发生了什么

据 Hugging Face Papers 2026 年 10 月 16 日的论文摘要,研究团队提出 Self-HPO,即一种递归式自我改进框架。其核心观点是:LLM 编码智能体的表现同时取决于策略模型和负责与环境交互的 harness,只优化其中一项并不充分——为一个检查点调好的 harness 未必能针对新策略的失败模式,而固定 harness 也会限制策略学习可获得的轨迹。

Self-HPO 的做法是交替进行两步:H-step 中,当前策略分析自身失败案例并生成新的 harness 候选;P-step 中,在选中的 harness 下用强化学习更新策略。训练中识别出的困难任务会进入下一轮 harness 搜索集,使工具链优化紧贴策略当前的失败点。摘要称,在三个编码基准上该方法稳定优于只优化 harness 或只优化策略的基线,平均解决率提升 7 个百分点,并显示出向分布外场景泛化的趋势。需说明的是,以上结论仅来自摘要,全文实验尚未核验。

为什么重要

编码智能体的能力不只来自模型权重,也来自提示组织、工具调用、错误重试等 harness 设计。过去这两块常由不同团队分别调优,容易错位。Self-HPO 把“改工具链”和“改模型”放进同一个循环,且用模型自身充当 harness 提案者,降低了对人工设计脚手架的依赖。摘要还提到,两个组件各自与原始版本配对时仍有增益,联合增益超过单独增益之和,说明二者存在互补关系。

对用户/开发者/创作者的影响

对开发者而言,这类方法提示:评估编码智能体时,换 harness 可能带来与换模型同量级的效果,API 或开源模型的使用方值得把工具链配置纳入调优范围。对企业采购来说,目前公开信息显示这仍是论文层面的方法,尚无产品化承诺,短期不宜据此调整采购决策。对智能体框架作者,H-step 的“自诊断—提出新 harness”思路可作为设计自动化调优流程的参考。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否披露 harness 候选的筛选标准与算力开销,这决定方法能否低成本复现;二是摘要提到 Pass@1 可靠性提升和 Pass@k 能力边界扩展,需看具体任务与统计口径;三是摘要称换成更强的外部模型(如 Opus 4.8)担任 harness 提案者还能继续提升,这一跨模型组合是否会进入更多团队的训练流程值得观察。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29656

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注