Kapa实测:检索瓶颈从“找到”转向“选对”,近三成相关片段未进模型视野

Kapa.ai 在自家 Company Knowledge Bench 上追踪检索流程发现,搜索已能召回多数关键片段,但其中约三分之一因重排阶段淘汰而没被送入模型,检索瓶颈正从“找到”转向“选对”。

一句话看懂:Kapa.ai 在自家 Company Knowledge Bench 上追踪检索流程发现,搜索已能召回多数关键片段,但其中约三分之一因重排阶段淘汰而没被送入模型,检索瓶颈正从“找到”转向“选对”。

事件核心:发生了什么

Kapa.ai 于 2026 年 10 月 26 日发布博文,提出“检索瓶颈正在转移”的假设。其分析采用一个简化生产管线:检索阶段先取 50 个候选片段,再交给重排器(reranker)按相关性筛选,最多返回 15 个给答案模型;查询分解使用 GPT-6 Luna,片段排序使用 Voyage-3。团队把每个需要完整回答的“黄金片段”逐一追踪,结果发现:搜索仍会漏掉部分关键片段,但在已经被召回的关键片段里,接近三分之一从未展示给模型。

博文还对比了约 18 个月前的数据:当时约 80% 的失败评测来自“关键片段根本没进入重排器”,仅 20% 属于选择失误。如今前者大幅收窄,后者占比上升。

为什么重要

开发者过去一年把大量精力放在改进 embedding 模型、查询改写与分解、以及 agentic 迭代检索上,这些努力确实让“找得到”变得更容易。但博文指出,下游价值损失正在向后迁移:答案模型看到什么,取决于重排器保留什么。这意味着继续优化召回本身,未必能同等提升最终答案质量,重排策略和上下文预算分配会成为更直接的优化点。

另一个值得注意的判断来自代码搜索:博文认为,模型使用 grep 已足够高效,语义搜索对编码 agent 的帮助不再明显。但 grep 不做选择,只是把所有匹配塞进上下文。代码有严格语法和稳定标识符,所以可行;而 Kapa 服务的公司知识散落在文档、工单、论坛与发布说明中,术语不统一,硬匹配难以覆盖,选择问题无法回避。

对用户/开发者/创作者的影响

对构建 RAG 应用的开发者,这意味着评估指标需要拆开看:召回率合格不代表答案模型拿到了足够信息,应单独统计“召回后未入选”的比例。若使用闭源重排器或自研重排逻辑,top-k 太小或重排过于保守,都可能让正确片段提前出局。对使用知识库问答产品的企业,回答不佳时,可优先检查检索结果是否被过度过滤,而非只怀疑语料缺失。博文强调该管线仅为示意,不构成产品基准排名。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

目前公开信息显示,Kapa 未给出更具代表性的 agentic 检索器完整数据,后续是否补充多轮检索场景下的选择损失值得观察;其重排器与查询分解的具体配置可能随版本变化,复现结论需核对条件;此外,若行业评估标准开始单列“召回后淘汰率”,重排器与上下文组装环节或成为 RAG 工具竞争的新焦点。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 30259

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注