
一句话看懂:VetoBench 是一个新的 AI 内存基准测试,它不再测试“是否找对了信息”,而是测试“是否还会提出你之前已经否决掉的东西”。在测试中,没有记忆的代理会重新提出70%-90%已被拒绝的方案,而记录决策痕迹的记忆系统能将这一比例降至0%。
事件核心:发生了什么
开发者 adelinamart 在 GitHub 上开源了 VetoBench,一个用于评测 AI 代理记忆系统实际效用的基准测试。传统内存基准只关心“相关信息有没有被召回”,VetoBench 则直接模拟团队协作中的典型场景:当代理面对一个它曾经被明确否决过的方案时,是否会再次提出。
该基准包含24个合成工程决策(其中10个带结构化拒绝记录),设定了4种记忆条件:无记忆、仅记录选择(类似 CLAUDE.md)、完整决策平铺、以及基于多信号检索的 Robrain 系统。2026年7月的5轮归档测试显示:无记忆条件下,代理在80%-90%的任务中重新提出被否决方案;而一旦将否决信息纳入上下文,不管是以平铺格式还是通过检索,违规率均降至0%。在第三方的 Mem0 内存系统适配测试中,违规率为0%-20%,已确认的先前拒绝率为50%-90%。
为什么重要
VetoBench 揭示了当前 AI 代理在实际团队协作中的一个核心痛点:代理容易“忘掉”被否决的方案,重复提出已被团队否决的技术选型或架构决策,这既浪费了团队的评审时间,也隐性地增加了沟通摩擦成本。传统评测体系关注“召回率”而忽略“再提案率”,VetoBench 的定位精准瞄准了这一空白。其设计也凸显了结构化否决记录的价值——不仅记录“做了什么”,更记录“为什么放弃了这个方案”,这比单纯的决策日志要关键得多。
从评测角度看,VetoBench 采用确定性判断器和完全可复现的离线运行机制(无需 API 密钥),保证了评测结果可以被任意第三方独立验证,这种透明性对内存系统市场中的竞品对比尤为重要。
对用户/开发者/创作者的影响
对 AI 代理开发者来说,VetoBench 提供了一个可以直接集成到 CI 管道中的评测工具,帮助衡量所采用的记忆系统是否能有效避免重复犯错。对采用 AI 代理进行代码生成、技术选型、系统设计的团队而言,该基准为其选型提供了真实的决策场景依据。考虑到目前多数代理框架(如 LangChain、AutoGPT、Claude Code)的记忆方案优先强调“信息完整”而非“拒绝信息保留”,VetoBench 可能会倒逼开发者重新审视记忆系统的设计优先级。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
对于以 Mem0 为代表的第三方记忆系统厂商而言,VetoBench 的数据表明当前的 LLM 提取+语义搜索方案已能应对大多数场景(违规率0-20%),但仍有优化空间。
值得关注的后续
1. 更复杂的真实环境评测:当前语料库只有24个合成决策,能否扩展到更大规模、更贴近真实团队决策场景的测试集,将决定该基准的行业接受度。
2. 记忆系统的商业竞赛:如果越来越的团队将 VetoBench 作为选型标准,那么像 Mem0、Zep、AnyScale 等第三方记忆服务可能需在其产品中增加否决信息结构化记录与检索的能力。
3. 大语言模型自身的变化:未来若模型在推理层面能自动识别并规避曾被否决的方案而不依赖外部记忆,将会从根本上改变这一问题的解法——但以当前测试结果看,仅靠模型能力(无记忆条件)还远不足以完成任务。
来源:github.com


