Artificial Analysis改用私有测试后:开源模型与美国前沿差距扩大到12分

独立评测机构 Artificial Analysis 把部分测试题改为保密后,评分靠前的开源权重模型与总榜首的差距从上一次的 3 分扩大到 12 分,中国模型以及更便宜的开源方案对美国闭源厂商的威胁,可能被高估了。

一句话看懂:独立评测机构 Artificial Analysis 把部分测试题改为保密后,评分靠前的开源权重模型与总榜首的差距从上一次的 3 分扩大到 12 分,中国模型以及更便宜的开源方案对美国闭源厂商的威胁,可能被高估了。

事件核心:发生了什么

据 Business Insider 2026 年 11 月 3 日报道,Artificial Analysis 近期重构了评测体系,更贴近真实使用方式,并把许多测试题保密,降低厂商“针对考题”训练模型的空间。官方数据显示,在旧体系下表现最好的开源权重模型仅落后总榜首 3 分,新体系下差距拉大到 12 分。按公开权重口径,最强开源模型得分 32 分,而当时总榜首 Anthropic 的 Claude Opus 5.5 为 58 分,其中包含 Moonshot 的 Kimi K3.1 Pro。即便是较小的 Claude Haiku 5.5,也超过所有公开权重模型。

为什么重要

这一结果触及“基准作弊”的老问题:厂商知道题目就能专项优化,分数未必等于真实能力,尤其在复杂科学任务上。Snowflake CEO Sridhar Ramaswamy 在 X 上直言“基准转私有那天,开源差距从 3 分变成 12 分”,质疑问的是模型追赶还是题目泄漏。若美国闭源模型的实际领先更稳固,Anthropic 计划中的 IPO 以及 OpenAI 未来上市的投资叙事会被加固。另一层证据来自用量:OpenCode 联合创始人 Dax Raad 估算,某日经 OpenRouter 路由的 DeepSeek 流量,用约 600 万至 700 万美元的一机架英伟达算力即可承载。OpenRouter 只覆盖部分市场,但说明大量 AI 基建投资来自 ChatGPT 这类闭源服务,而非小型开源开发者。

对用户/开发者/创作者的影响

目前公开信息显示,开源权重模型在软件开发等场景仍有竞争力,优势在于可控性和可能更低的推理成本,适合企业自建或微调。但选型时不能只看榜单名次,应结合自己的任务做小规模实测,并关注模型是否支持 API、部署算力和数据合规。对内容创作者而言,闭源前沿模型在复杂任务上的领先仍值得付费;对普通用户,ChatGPT 等产品的实际体验和月活规模,比开源社区的声量更能反映真实需求。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Artificial Analysis 的新版排名能否被其他独立评测复现,以及保密题目是否持续更新;二是中国厂商下一代开源模型在私有测试下能否缩小差距,而非只在公开榜上冲高;三是闭源厂商的定价与 IPO 进程,以及 OpenRouter 等平台能否给出更完整的开源模型使用数据。

来源:Business Insider

celebrityanime
celebrityanime
文章: 32234

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注