一句话看懂：arXiv 上一篇新论文提出基准 ReplayRCA，不比对标注，而是把环境还原到出错步骤前，用模型提出的动作替换原动作，再看智能体能否继续完成任务。它试图回答一个问题：另一个模型能不能找到多步任务失败的关键错误并有效补救。
事件核心：发生了什么
据 arXiv cs.AI 公开摘要，该基准包含两条赛道：事后复盘时，诊断者能看到整条失败轨迹并被告知已失败；实时监督时，监督者只看到任务进程，在不可逆动作前最多干预一次，且事先不知道任务会不会失败。任务来自确定性、程序化生成的办公后台环境 OpsWorld，设六个难度等级，最高级含二维码和手写内容等多模态输入。
评分采用“因果修复”：在 62 个经过校准的系统性失败上，13 个前沿模型里表现最好的 Grok 4.7 为 +51.3 分；前八名在统计上难以区分，两大厂商的旗舰模型分列第 8 和第 12，有 5 个失败项没有任何模型修好。实时监督的 87 条轨迹中，表现最好的两个监督者统计持平，其中之一是小体量开源模型 DeepSeek V4.1 Flash；事后诊断较强的 GPT-6.1 Sol 在实时场景反而最弱，低 14.5 分（p = 0.002）。以上均来自论文摘要，未核验全文实验。
为什么重要
现有归因评测常奖励“和标注一致”，容易催生直接盯最后一步的捷径。ReplayRCA 改为看干预后的真实结果，把诊断质量与可执行修复挂钩，更接近智能体排障的实际需求。摘要还显示，强制强模型只在最后一步干预会损失 17.1 分，说明最后一步归因并不能平移到真实修复。对行业而言，这意味着事后复盘能力未必能替代在线监督，可靠性评测需要分开设计。
对用户/开发者/创作者的影响
开发多步 Agent 的团队可参考“回放加反事实干预”搭建内部评测，而不是只看最终成功率或人工标注一致性。做运维、客服后台自动化的用户，应更关注监督模型在不可逆操作前的拦截能力。开源小模型在实时监督中表现不弱，也为低成本部署提供了参考，但目前公开信息仅限摘要，不宜据此选型。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是作者已放出环境与评测代码，社区复现能否得到一致结论；二是实时监督与事后诊断的能力差异是否在更多任务上成立；三是该协议能否被更多 Agent 评测采用，并暴露现有榜单的盲区。
来源：arXiv cs.AI
