Doc2Harness 评测：19 个前沿模型重构 Agent 工程框架，最高通过率 53.05%

事件核心：发生了什么

2026 年 10 月 14 日，Hugging Face Papers 上线论文《Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents》。目前公开信息显示，这项工作把评测目标从“模型在固定框架里能否完成任务”转向“模型能否自己搭建完整的 Agent 工程框架”。

Doc2Harness 分两个阶段：第一阶段，构建模型在固定 builder harness 内，拿到一份仅含接口约定的骨架和一份汇总十二种前沿 harness 行为的开发文档，在隔离容器中产出候选 harness；第二阶段，候选 harness 被冻结，放到与构建环境分离的容器中，每个测试用例一个容器，由脚本化 mock model 端到端驱动。评分只看四个可观测通道：发给模型的请求、磁盘文件、进程退出码、命令输出，并用正向对照排除空转通过。

论文摘要称，19 个前沿模型各做三次独立构建、共覆盖 328 个测试用例，GPT-6 Astra 通过率最高，为 53.05%；最弱模型为 27.44%，差距约 26 个百分点。最强模型仍有近一半用例未通过，失败集中在跨模块功能如何拆分。

为什么重要

过去评测多把 harness 当作固定背景，模型只负责“填空”。但真正部署长期任务时，Agent 能否稳定调用工具、修改真实工作区，很大程度上取决于外层框架怎么设计。Doc2Harness 把这一层单独拿出来量化，等于给 Agent 工程能力增加了一个新维度。

从竞争格局看，如果模型厂商的差异不仅来自权重和推理能力，还来自“会不会搭架子”，那么 API 售卖、企业采购和开源闭源选择都会多一个评估项。摘要称这是首个确定性衡量长周期 harness engineering 的基准，但目前仍是论文摘要层面的信息，未核验全文实验与同行评审状态。

对用户/开发者/创作者的影响

对开发者，这意味着选模型不能只看跑分榜单，还要看它在容器隔离、文件落盘、进程退出和命令输出这些可观测行为上是否稳。做 AI 应用或 Agent 工具链时，跨模块拆分很可能成为实际调试中最容易出问题的环节。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对企业采购，Doc2Harness 这类确定性评测如果被社区复现，可能成为比“演示 demo”更硬的参考。不过当前结果限定在 2026 年 10 月的评测条件、指定用例和三轮构建内，不能直接等同于长期排名。

对内容创作者，短期影响间接：如果 Agent 能更可靠地自建工作流，自动化剪辑、素材整理、发布流程的工具会更容易落地；但 53.05% 的通过率也说明，离“交给它就不管”还有距离。

值得关注的后续

一是评测代码和构建文档是否开源，社区能否复现 328 个用例与三轮独立构建；二是失败集中在跨模块拆分，后续模型或 harness 是否会针对这一点做专项优化；三是除 GPT-6 Astra 外的模型厂商是否跟进发布 harness 工程能力说明，以及这一基准会不会被企业采购清单采纳。

来源：Hugging Face Papers