一句话看懂：arXiv 2026年11月5日上线论文提出 SlackBench，用真实学术项目的多轮对话、代码仓库和文档来评测 AI 智能体，33 个前沿模型与工具链中最好成绩约 80%，多数低于 66%。
事件核心：发生了什么
据 arXiv cs.AI 新论文摘要，SlackBench 是一个面向真实科研与工程协作流程的智能体基准。它基于经过隐私保护处理的真实学术项目复现环境，把多方对话、持续变化的决策，以及对应的 GitHub 代码和 Google Docs 文档关联起来。基准包含 140 个查询，覆盖异构信息源检索、对无法回答或前提错误问题的拒答、目标导向摘要，以及长对话中的情境推断。摘要称，在 33 个前沿模型与智能体工具链上，最佳系统得分约 80%，多数低于 66%。数据已在 Hugging Face 公开。
为什么重要
现有智能体评测常依赖合成数据或孤立任务，难以反映知识工作中信息散落于聊天记录、代码提交和文档变更的真实状况。SlackBench 把“先找到相关频道与私信、再回溯长讨论上下文、核对仓库状态、处理过期或冲突证据”这一链路纳入评测，更接近企业协作中的复合推理。对 AI 应用开发者而言，这意味着模型能力评估正从单轮问答转向跨源、跨时间的任务完成度；目前公开信息显示，该基准尚处论文阶段，结论仅限摘要所述评测条件。
对用户/开发者/创作者的影响
企业采购与团队选型可把这类协作型基准作为参考维度，而不只看通用榜单。开发者若在构建接入 Slack、GitHub 和文档系统的 AI 助手，需要重点设计检索范围判定、证据冲突处理与拒答机制。创作者与研究者则能借助公开数据集复现实验，观察智能体在长对话和代码演进场景中的短板。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否披露更细的任务分布与失败案例；二是社区是否会基于该数据集迭代新工具链并刷新成绩；三是类似基准能否扩展到更多企业协作产品与私有部署环境。
来源：arXiv cs.AI
