一句话看懂：Hugging Face Papers 收录的论文提出 EvalResearchBench（ERB），用来测试 AI 智能体能否自行挑选任务、编写评分器并迭代出评估套件；表现最好的评估器与 14 个目标基准在排序上的一致率约为 75%，低于目标基准彼此分歧造成的 91% 上限。这项研究关注的是：递归自我改进中的反馈环节能否被部分自动化。
事件核心：发生了什么
据 Hugging Face Papers 2026 年 10 月 16 日收录的论文摘要，研究团队构建了 ERB 基准：在给定目标材料、开发参考、候选 API 以及固定时间和 API 预算的条件下，让名为“researcher”的智能体选择或合成任务、实现评分器，并在预测试中反复修改，最终冻结一个可执行评估器，覆盖编码、协作和推理三类场景。
摘要称，实验涉及 9 个 researcher 智能体与 13 个候选模型；每个冻结后的评估器都与 14 个目标基准比较分数一致性和成对判断一致率。表现最好的评估器与目标基准顺序一致的候选对约占 75%。不过，目标基准之间本身也存在分歧，其一致率上限为 91%。此外，开发目标上表现最好的评估器，并非在研究者不可见的封存目标上也最优；人工设计的公开任务抽样仍是强有力的基线。
为什么重要
递归自我改进（RSI）依赖评估反馈来判断进展、指导下一步研究，但每次运行完整基准都成本高、迭代慢。人类专家通常靠挑选子集或设计精简套件来降低成本。ERB 要回答的是：这部分“评测研究”工作能否交给 AI 智能体自动完成。
目前公开信息显示，这一方向尚未解决。论文摘要同时指出，智能体虽然能借助预测试反馈修复任务和评分器，但仍会出现截断回答、耗尽评估预算、少数题目主导领域得分等问题。这意味着自动评测可以降低部分重复劳动，但还不足以成为可信的替代品。
对开发者/研究者的影响
对大模型与 AI 应用团队而言，这项研究提供了一个现实参照：在预算有限时，可以尝试让智能体辅助生成小型评测集或评分脚本，用于快速迭代和内部筛选；但对发布级验证、模型选型和推理能力比较，仍应保留人工设计样本与多基准交叉校验。开发者尤其要警惕自动生成的评分器在长度截断、预算耗尽和题目权重失衡上的偏差，这些偏差可能让评测结果看起来一致，实际却失真。
值得关注的后续
其一，目前仅为论文摘要，需关注全文是否披露更细的任务分布、预算规模和失败案例。其二，文本中最低执行成本的评估器获得了最高成对一致率，这一现象能否复现，将影响低成本自动评测的实用价值。其三，封存目标上的泛化差距说明，智能体自主设计的评估器是否会被主流模型评测流程采纳，仍需更多独立验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
