一句话看懂：一位面试过 200 多名后端转 AI 候选人的面试官指出，简历上写”准确率提升 30%”的人，大多答不出指标怎么测出来的。RAG 评测从数据攒集到接入 CI，正成为区分”玩过”和”真做过”的分水岭。
事件核心：发生了什么
开发者社区掘金上一篇文章记录了作者”王中阳讲 AI”在两年间面试 200 多名后端转 AI 候选人的观察：多数简历写着”企业级 RAG 知识库，回答准确率提升 30%”，但被追问”这 30% 怎么测的”时，答案往往停留在”业务方反馈还行””自己试了试感觉更准”。
作者把回答分成三档：L1 感觉派只有主观印象；L2 指标派能报出 Hit@5 等单一数字，却说不清为何选这个指标；L3 闭环派能讲出一次具体权衡——例如把切分从固定 512 换成按标题分块后，Hit@5 从 0.71 涨到 0.86，但 Faithfulness 从 0.81 掉到 0.78，再加 BGE 重排补到 0.91，并把评测脚本挂上 CI，指标回退就禁止合入。作者认为能走到第四层追问（线上效果掉了如何第一时间发现）的候选人一只手数得过来。
为什么重要
RAG 是一条由召回、重排、生成串联的链路，只测最终答案是否正确，出了问题无法定位是哪一段失效。因此行业里逐渐形成分段指标：Hit@K、MRR、NDCG@K 衡量召回质量，Faithfulness 衡量答案是否忠于上下文（即有没有幻觉），Answer Relevancy 衡量是否答非所问——两者是不同维度，值得分开评估，Agent 场景还要加工具选择正确率和 P95 延迟、单次成本。
这背后是 AI 应用从”演示可用”走向”工程可维护”的必然要求。面试官追问的不是数字大小，而是有没有形成评测闭环，这恰恰是后端工程师最熟悉的回归测试思路，只是很多人没意识到可以平移到 AI 项目上。
对用户/开发者/创作者的影响
对转 AI 的后端开发者而言，简历上的百分比正在变成高风险表述：写了就要能承接四层追问。可行的最小评测方案是人工标注 100 条以上样本、挑选 3 个左右核心指标、用脚本跑通并设断言基线，样本过少时指标波动大到无法判断，作者建议直接拒绝下结论。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
文中给出了可直接运行的 Go 评测代码，依赖 Go 1.21+，通过 go test 运行，也可挂到 CI；检索器可替换为本地向量库、Milvus 或 HTTP 检索中台，密钥从环境变量读取。对使用 RAG 产品的一方来说，这意味着以后评估供应商时，问一句”评测集怎么建的”就能筛掉相当一部分方案。
值得关注的后续
一是这套”评测集 + CI 门禁”的做法是否会在更多团队落地成标准流程；二是 LangChain、LlamaIndex 等框架以及 RAGAS 类评测工具会不会进一步降低接入门槛，让 Faithfulness 等指标变成开箱能力；三是随着模型能力提升，企业采购 AI 知识库时的验收标准是否会从”演示效果”转向”回归指标可追溯”。
来源：juejin
