一句话看懂:Artificial Analysis 于 2026 年 11 月 8 日发布决策指数 v2,将私有数据集占比从 25% 提高到 45%,并改用同时奖励准确率与置信度校准的 Decision Score;在该评测条件下,Drex Max v1.1 以 73 分领先决策模型,但前三名分差仅 1 分。
事件核心:发生了什么
Artificial Analysis 发布了决策指数 v2,这是一套面向“决策模型”的专有评测。此次更新的核心变化有三点:一是私有数据集占比升至 45%,以降低针对公开榜单刷分的空间;二是新增 AA-Paperclip(1500 份简历、票据、发票和 AI/机器学习论文,要求模型在一次决策中答对全部 15 个问题)和 AA-Symmetry(检验同一问题的不同措辞下模型答案与概率是否一致);三是引入新的头条指标 Decision Score,正确答案得分高于 50,错误答案低于 50,模型对所选答案的置信度在各自区间内调整得分。
权重方面,AA-Omniscience-Decision v1.1 与 HLE-MultiChoice v1.1 各占 15%(此前为 25%),When2Call 降至 10%,WildGuardTest 因饱和被移除。结果上,Nace AI 的 Drex Max v1.1 和 Fastino Labs 的 GLiDE v1.2 均为 73 分,Base Labs 的 Mammoth 27B 为 72 分。
为什么重要
决策模型的实际用途是:置信度超过阈值就自动执行,否则转交人工或更强的模型。因此只看准确率不够,置信度是否校准直接决定自动化流程是否可靠。Decision Score 把准确率和 Brier 分数合并计算,意味着“答对但过度自信”和“答错却自信”都会受到惩罚。这对榜单生态是一个信号:厂商难以再靠单一准确率刷分,私有数据和校准能力成为新的竞争维度。
成本差异同样值得注意。目前公开信息显示,每百万任务的成本在决策模型中相差超过 60 倍,从 Celeris-1.1 Decision 的 14 美元到 Clef 的 859 美元不等。计费方式也有影响:Drex Max v1.1 和 Decider v1.2 对同一文档只计一次输入,而 GLiDE v1.2 按每个问题重复计费,导致其实际成本约为 Drex Max v1.1 的 8 倍。
对用户/开发者/创作者的影响
对开发者和企业采购来说,选型不能只看榜单分数。Decision Score 高的模型未必最便宜或最快,需要把校准质量、每任务成本和延迟放在一起评估。素材显示,通用语言模型在该评测中也能拿到更高分:Claude Haiku 5.5(Max)为 77 分,GPT-6 Luna(Max)为 76 分,但后者的成本约为 Drex Max v1.1 的 15 倍,单任务耗时约 11.34 秒,而后者为 275 毫秒。对需要高吞吐、低延迟的文档处理场景,专用决策模型仍有明显的性价比空间。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是私有数据集能否持续有效防止刷分,以及第三方能否复现排名;二是各厂商是否会跟进披露置信度校准数据,而不只是准确率;三是计费方式差异是否会推动按文档统一计价成为行业默认。以上结果仅适用于原文发布日期和评测条件,不代表长期排名。


