ReviewBench：面向 AI 代码审查的开放基准

一句话看懂：GitHub 发布 ReviewBench，一个面向 AI 代码审查的开放基准，用 219 个真实 PR 和四类指标衡量 AI 审查工具到底能查多准、漏多少。它给开发团队提供了横向比较不同代码审查 Agent 的公开依据。

事件核心：发生了什么

GitHub 于 2026 年 10 月 5 日发布 ReviewBench，作者为 Michelle Zhou 和 Alejandro Carderera de Diego。这是一个用于评估 AI 代码审查 Agent 的离线基准，核心做法是：先分析 GitHub 上 1.039 亿个真实 PR 的语言、仓库规模和变更形态分布，再据此挑出 219 个公开 PR、覆盖 19 种语言，尽量还原真实审查场景。

基准的“标准答案”来自多源标注——人类审查者、前沿大模型和静态分析工具共同贡献发现项，每条发现都标注了严重程度（Critical/Medium/Low）和类别（正确性、安全、可靠性、可维护性、测试等）。评估使用四个指标：有依据的精确率、有依据的召回率，以及扩展后的精确率与召回率，既衡量已知问题，也衡量新发现的问题。GitHub 称，资深工程师独立标注的 golden 真正例一致率达到 96.6%。

为什么重要

代码审查正成为 AI 编程工具竞争的下一个战场，但此前缺少可靠的比较标准。不同审查工具各有取舍：有的报得多但噪音大，有的安静但可能漏掉关键缺陷。没有统一基准，团队只能靠体感判断，模型厂商也难以证明迭代真的有进步。

ReviewBench 的价值在于把“好审查”拆成可量化的维度，并允许按严重程度和类别切片查看。GitHub 还强调，该基准的离线结果与线上实验结果方向基本一致，意味着它可以作为产品迭代的先行信号。这对整个 Agentic code review 生态是一个基础性补充，但需注意它由 GitHub 主导，且目前只覆盖公开 PR。

对用户/开发者/创作者的影响

对使用 GitHub Copilot 代码审查（CCR）的团队，这个基准解释了产品迭代的评估逻辑。对正在选型或自建代码审查 Agent 的开发者，ReviewBench 提供了可复现的比较框架，可以按自己更在意“抓关键缺陷”还是“减少噪音”来选工具。目前公开信息显示，接入方式尚未明确，开发者需要关注官方是否开放提交入口和评分结果公示。