OpenDS-World基准发布:12款前沿模型在真实开放网络深搜准确率最高39%

Hugging Face Papers 收录的一篇论文提出 OpenDS 任务与 OpenDS-World 基准,专门考察 Deep Search 智能体在真实开放网络中的多步检索能力;在统一工具环境下,12 款前沿模型最高准确率为 39.0%,说明端到端“联网做研究”仍远未成熟。

一句话看懂:Hugging Face Papers 收录的一篇论文提出 OpenDS 任务与 OpenDS-World 基准,专门考察 Deep Search 智能体在真实开放网络中的多步检索能力;在统一工具环境下,12 款前沿模型最高准确率为 39.0%,说明端到端“联网做研究”仍远未成熟。

事件核心:发生了什么

论文指出,现有 Deep Search 智能体虽然在静态检索任务上进展明显,但在真实开放网络中的端到端研究能力缺乏充分评测。为此,作者构建 OpenDS 任务与 OpenDS-World 基准,包含 200 个挑战性任务,覆盖多种信息模态、异构文件格式和交互式访问要求,并通过人工核验保证证据有效、答案唯一。评测在统一工具环境和执行协议下进行,12 款前沿模型中表现最好者准确率为 39.0%。目前公开信息仅为论文摘要,全文实验细节和同行评审状态尚未核验。

为什么重要

真实网络的信息分散在不同来源、模态和交互机制中,智能体必须自主搜索、访问并整合证据,这与静态检索评测差异很大。OpenDS-World 把“工具调用、浏览器交互、证据处理、长程搜索管理”放进同一套评测框架,有助于行业比较不同大模型的 Deep Search 能力,而不是只看单轮问答或封闭数据集成绩。对正在推进 AI 应用落地和 Agent 产品的团队来说,这类基准提供了更接近真实使用场景的参照。

对用户/开发者/创作者的影响

对开发者而言,测评结果提示:接入搜索 API、浏览器工具并不等于具备研究能力,工具协调和长程任务管理仍是主要瓶颈。若基于开源或闭源大模型构建调研类 Agent,需要重点优化失败恢复、终止判断和搜索成本控制。对普通用户和企业采购方,短期内不宜把“自动深搜”视为可直接替代人工调研的功能;对内容创作者,这类智能体更适合做线索发现和证据整理,最终事实核验仍需人工介入。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 OpenDS 任务的评测协议是否被更多团队采用,形成可比的榜单;二是后续模型能否在工具协调和长程搜索管理上取得实质提升;三是该基准是否会从论文走向公开可复现的评测平台,以及是否会引入更多真实网站交互场景。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29730

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注