一句话看懂：arXiv 上一篇新论文在 ARC-AGI-3 上测试前沿模型能否自行搭建并两轮修订任务执行框架，结果发现开发集提升明显，但留出集平均 RHAE 仅提高 2.80 分，自适应改进很难稳定泛化。
事件核心：发生了什么
2026 年 10 月 23 日，arXiv cs.AI 发布论文《Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3》。研究关注的是“harness”——一个负责调度模型调用的符号程序，处理感知、记忆、工具使用、恢复和推理资源分配。实验让前沿模型通过固定编码引导，为 ARC-AGI-3 构建完整任务框架，在五个开发游戏上执行，并两次修订整个代码库；每个版本都在 20 个不参与适配的游戏上评测。指标为 RHAE（相对人类动作效率），同时记录以美元计价的推理成本。27 条 lineage 中，框架表现从零到接近满分不等，但两轮修订仅让留出集平均 RHAE 提高 2.80 分，95% 区间为 [-1.44, 7.35]。
为什么重要
这项研究把“大模型自我改进”从抽象讨论拉回到可测量的工程问题：模型能否在陌生环境中自主搭建感知、记忆和工具调用结构，并通过修改代码持续适应。结论并不乐观——开发阶段的收益会高估留出集表现，降低推理成本也可能牺牲任务完成度。对关注 AI 应用落地的团队来说，这意味着当前自动生成的 agent 框架仍需要人类设计兜底，闭源与开源模型在自主适配上的差距也值得进一步拆解。目前公开信息仅为论文摘要，全文实验细节尚未核验。
对用户/开发者/创作者的影响
开发者不宜把“模型自改代码”当作稳定的降本手段。在构建 agent 或 AI 应用时，框架代码、工具调用和记忆模块的迭代仍应配合留出集评测与回归测试，避免开发集过拟合。若将类似能力接入 API 产品，推理成本与任务效果的权衡需要单独监控。创作者和企业采购方也应把“自适应修订”视为实验性能力，而非可直接依赖的功能。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否披露更多模型家族和 harness 设计细节；二是更多修订轮次能否打破留出集收益有限的瓶颈；三是 ARC-AGI-3 社区会不会出现公开的 agent 框架基准，推动可复现比较。
来源：arXiv cs.AI
