Artificial Analysis 卖定制评测,模型榜单分数还能信几分

AI 评测机构 Artificial Analysis 一边发布 Intelligence Index 榜单,一边向模型厂商出售定制评测服务,这层商业关系让它的公开分数值得参考,但不该被当作模型能力的最终定论。

一句话看懂:AI 评测机构 Artificial Analysis 一边发布 Intelligence Index 榜单,一边向模型厂商出售定制评测服务,这层商业关系让它的公开分数值得参考,但不该被当作模型能力的最终定论。

事件核心:发生了什么

近日,X 用户 @leo114119 发文分析了 Artificial Analysis(AA)的商业模式。据该帖,AA 创始人曾在一档播客中被问及如何赚钱,回答有两条:一是向企业和投资机构出售标准化基准报告与选型咨询;二是为包括大模型厂商在内的公司提供定制基准测试、私有测试框架和专题工作坊。也就是说,被排名的公司同时可能成为它的付费客户。AA 近期发布了 Intelligence Index v5,称首次让指数的大部分建立在私有数据集之上。该帖观点仅代表作者本人,不代表 AA 官方立场。

为什么重要

AA 的指数权重是公开的,据该帖,Agents 约占 30%、Coding 约占 20%、科学推理约占 20%。厂商由此可以购买“短板诊断”,定向优化训练目标,让下一轮分数更好看。这对应古德哈特定律:指标一旦成为目标,就不再是好的度量。此前 LMArena 被论文指 Meta 私下测试多个 Llama 变体、只挑最佳结果公开,也说明规则内刷分并不罕见。对一家靠公信力立足的评测机构来说,这是结构性张力。

对用户/开发者/创作者的影响

AA 的智能总分不宜作为选型唯一依据,更可信的是价格、速度、延迟等基础设施数据。实际使用中,30 分级别的差距才值得认真对待,并应交叉参考多个来源,优先看带私有保留集的基准。开发者评估 API 时,应回到自己的任务场景做小规模测试,而不是照榜单下单。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

目前公开信息显示,AA 承诺公共榜单不收费,但定制评测服务是否影响榜单可复现性仍待观察。后续可关注:Intelligence Index v5 的私有数据集覆盖面如何披露;是否出现第三方对榜单独立复核;其他厂商是否跟进推出私有评测产品。

来源:@leo114119

celebrityanime
celebrityanime
文章: 30831

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注