DECIDE基准发布:用1081段真实通话测语音Agent的音频决策能力

开发者Naman Jain与Bolna Dev合作发布DECIDE基准,用1081段真实客服通话剪辑,评估语音Agent在轮次管理、情绪识别等音频决策上的表现,并让直音频模型与STT+文本模型同题对比。

一句话看懂:开发者Naman Jain与Bolna Dev合作发布DECIDE基准,用1081段真实客服通话剪辑,评估语音Agent在轮次管理、情绪识别等音频决策上的表现,并让直音频模型与STT+文本模型同题对比。

事件核心:发生了什么

据Naman Jain于2026年11月7日发布的推文,DECIDE是一个面向语音Agent音频决策能力的评测基准,与@bolna_dev合作推出。素材称,它基于1081段真实生产通话剪辑(每段3至25秒)构建了4867道决策题,覆盖6大类共32项任务:轮次管理(何时开口或等待)、通话图路由、工具调用决策、语言切换、来电者情绪和业务意图。评测对象包括20个直音频模型与STT加文本模型,在同一批问题上打分,并同时比较音频信息带来的收益与其在美元成本和毫秒延迟上的代价。任何人可提交模型端点参与评分,无需邀请。

为什么重要

目前多数语音Agent的评测仍偏重转写准确率,而实际交互中的关键判断——对方是否不悦、是否打断、是否该转人工——很难从纯文本还原。DECIDE把“说话人语气与重叠”纳入结构化题目,等于把语音Agent的竞争维度从ASR推向端到端的决策质量。对直音频模型阵营而言,这提供了一个可量化“音频到底值不值”的框架:如果延迟和成本换来的决策提升有限,STT加文本大模型的架构仍具吸引力;反之则可能推动更多团队评估原生音频方案。

对用户/开发者/创作者的影响

对开发者,公开可提交的评测端点降低了横向比较模型的门槛,选型时可参考同类任务上的表现,而非只看厂商宣传。对企业采购方,情绪识别与轮次管理这类指标更接近真实客服体验,有助于在POC阶段设定验收标准。对语音应用创业者,基准暴露的任务清单也可作为产品设计检查表。需要说明的是,目前公开信息仅来自作者推文,具体题目构成、评分方法和完整榜单尚未在素材中披露。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是榜单开放后直音频模型与STT加文本模型的实际差距是否稳定;二是延迟与成本的量化口径能否被社区复现;三是是否有更多语音Agent厂商将此类音频决策指标纳入自家评测或产品宣传。

来源:@namanjn1998

celebrityanime
celebrityanime
文章: 33416

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注