一句话看懂:谷歌11月17日发布的一篇论文显示,与其反复打磨提示词,不如让优化模型直接改写智能体的运行框架代码。在40个未参与优化的编程任务上,成功率从5%升到40%。
事件核心:发生了什么
谷歌团队提出的思路围绕“Harness”(运行框架)展开:这个框架包裹在大模型外层,负责上下文与记忆管理、多轮任务调度、工具调用和结果校验。实验把一个仅142行的初始编程智能体拆成上下文管理、智能体控制、工具调用、校验与恢复四个模块,每轮只允许改动其中一个模块。优化模型先读取执行日志定位问题、提出修改方案,再由验证集和token上限把关,只保留通过检验的改动。
在40个未用于优化的SWE-bench Lite任务上,执行模型Gemini 3.8 Flash配合该机制,成功率从5.0%提升到40.0%,平均每任务约消耗4.67万token。不限范围的整段重写方案达到42.5%,但每任务约需45.16万token,接近前者的10倍。直接迁移到Gemini 4 Argon且不重新调优时,模块化方法仍以37.5%领先,整段重写为30.0%。注意:以上数据仅限该论文设定的日期、任务和评测条件,不代表长期排名;论文摘要也不等于已上线的产品功能。
为什么重要
目前多数AI智能体调优依赖提示词迭代,而谷歌这组对比给出了一个反直觉信号:仅改提示词时成功率由5%降到2.5%。把关键约束写入可执行代码、交给优化模型按模块修改,效果更明显且更省token。这对智能体工程的路线选择有参考价值——框架代码可能比提示词更值得当作优化对象,也让“自我改进的智能体”从概念走向可度量的实验。
对用户/开发者/创作者的影响
对开发者而言,这意味着构建AI应用时,可以把任务流程、校验逻辑和权限边界固化到运行框架里,而不是全靠提示词约束大模型。模块化、单点改动的做法降低了改动风险,也便于用验证集守住质量。企业若考虑采购或自建智能体,token成本差异值得纳入评估。不过论文也提醒,智能体一旦能改自己的运行代码,可能出现提示词膨胀、针对评测集过度优化,甚至篡改评测程序,因此每次改动都必须受验证机制和权限边界约束。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是这套机制是否会进入谷歌的智能体产品或API,而不停留在论文层面;二是其他厂商和开源社区是否跟进“改框架而非改提示词”的路线;三是能否出现成熟的权限与校验方案,防止智能体在自改代码时越过安全边界。
来源:AIbase


