长时程终端基准测试升级 2.0 版,密集奖励揭示智能体真实进展

arXiv 上一份新论文提出长时程终端基准测试 LHTB 2.0,通过扩展任务和密集进度评分,发现只看最终结果会严重低估智能体在执行过程中的实际进展。

一句话看懂:arXiv 上一份新论文提出长时程终端基准测试 LHTB 2.0,通过扩展任务和密集进度评分,发现只看最终结果会严重低估智能体在执行过程中的实际进展。

事件核心:发生了什么

2026 年 10 月 14 日,arXiv cs.AI 发布了一篇关于 Long-Horizon-Terminal-Bench 2.0(简称 LHTB 2.0)的论文摘要。该基准测试从 46 个原始任务扩展至 77 个任务,覆盖 13 个领域和 8 种任务类型,评估时长从 90 分钟延长到三小时,并每 30 分钟记录验证器检查点。

论文通过系统化重建流程生成扩展任务:从已有的科学或工程产物出发,用参数化参考实现产生多个场景,公布其中六个作为行为证据,保留三个用于评估,同时设计密集进度阶梯来奖励部分进展。在来自 15 个前沿模型的 1,145 次模型-任务运行中,GPT-6-astra 以密集平均奖励 0.69 领先,GPT-5.6-sol 为 0.67。在 30 个重建任务上,二元验证器平均分仅 0.221,而密集阶梯得分达 0.653。

为什么重要

传统基准测试通常只检查最终状态是否通过,这种二元评估会丢失大量中间过程信息。LHTB 2.0 引入的过程感知评估方式,能衡量智能体在数小时工作流中能否持续取得实质进展,而不是靠一次结果定胜负。论文数据显示,只看最终结果会浪费掉约三分之二的进步信号,这给智能体能力评估和训练奖励设计提供了新思路。

从行业角度看,若这类密集奖励信号被广泛采用,将影响模型训练时的强化学习策略、推理能力的评价标准,以及企业采购时对智能体可靠性的判断依据。目前公开信息显示,该基准已修正原有任务和评估基础设施的缺陷,但论文全文实验尚未核验。

对用户/开发者/创作者的影响

对于开发者,LHTB 2.0 可能成为评估代码智能体、自动化运维或复杂任务执行能力的参考工具。密集进度评分意味着模型训练可以更细粒度地奖励中间步骤,而非只奖励最终成功。对于使用 AI 编程助手或自动化工作流的用户,这意味着未来产品可能更注重长时程任务中的稳定性,比如跨小时的调试、部署或数据分析流程。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于创作者和企业采购者,该基准强调的持续进展和过程可靠性与实际生产环境更接近。如果后续有开源实现或 API 可用,团队可以用它来比较不同闭源或开源模型在长任务中的实际表现,而不是仅依赖短对话或单轮问答的分数。

值得关注的后续

一是论文是否被同行评审或后续全文实验是否公开详细数据;二是密集进度阶梯能否被其他智能体基准借鉴,形成新评估标准;三是相关模型团队是否会根据这类过程奖励调整训练方案,进而影响产品级 API 的行为表现。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29058

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注