EverydayBench 评测 77 项真实数字任务:最高严格通过率仅 54.55%

arXiv 新论文提出 EverydayBench,用 77 项贴近日常生活的真实任务评测 AI Agent 能否交付可用成果,而非只检索网页。在已报告的 23 种 Agent-模型组合中,最高严格通过率只有 54.55%,说明“做完一件事”仍比“查到信息”难得多。

一句话看懂:arXiv 新论文提出 EverydayBench,用 77 项贴近日常生活的真实任务评测 AI Agent 能否交付可用成果,而非只检索网页。在已报告的 23 种 Agent-模型组合中,最高严格通过率只有 54.55%,说明“做完一件事”仍比“查到信息”难得多。

事件核心:发生了什么

该论文于 2026 年 11 月发布在 arXiv,属于新公告,尚未核验全文实验,也不代表已上线产品。EverydayBench 覆盖八个日常生活与工作领域,共 77 项由人工编写的任务,涉及选品、行程规划、调研和内容创作等。每项任务在执行前就写明成功标准,但不规定答案或工作流,允许 Agent 自行选择交付结果。评测结合三类检查:对明确约束做确定性校验;对照 Agent 引用、并在评测时实时抓取的网页核验其说法;再用评分量表评估最终交付物质量。作者还通过人工判断、固定证据重复打分和受控的 grounding 失败做了协议验证。

为什么重要

现有基准多偏重信息检索或单项能力,EverydayBench 把“预设成功标准、当前证据核验、交付物质量”放进同一套流程,更接近真实用户在开放网络上的验收方式。目前公开信息显示,23 种配置中 Claude Opus 5.5 与 Claude Fable 5.1 并列最高严格通过率 54.55%;GPT-6 Sol 的努力程度扫描从低档 29.87% 升到最高档 45.45%。这说明大模型在长链路任务里仍容易在约束满足和结果可验证性上掉分,单靠推理算力堆叠并非万能。

对用户/开发者/创作者的影响

对开发者,这类基准提示 AI 应用的评测不能只看回答像不像,而要检查引用是否可追溯、交付物是否满足硬约束。做 Agent 产品时,网页抓取与时点证据、结构化校验和评分量表可能成为必要模块。对普通用户和创作者,采购或使用自动选品、行程规划、调研类工具时,应关注其是否给出可核查来源和明确完成标准,而非只看演示效果。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与评测协议是否公开、任务集能否复现;二是各模型厂商是否针对该类真实任务优化引用核验与交付质量;三是 EverydayBench 能否被独立团队用于横向比较,而非停留在单次论文排名。当前结果仅限素材所述日期与评测条件,不宜视为永久排名。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36147

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注