一句话看懂：Artificial Analysis 于 2026 年 10 月改版 Intelligence Index，首次让 60% 的评分依赖私有测试集，开源模型 Kimi K3.1 Pro 从第四名跌至第九名，开源与榜首差距从 3 分扩大到 12 分。
事件核心：发生了什么
Artificial Analysis 对 Intelligence Index 进行了结构性改版，推出第 5 版。最直接的变化是：60% 的评分权重来自私有测试集，目的是减少“benchmaxxing”——即模型针对公开题库做定向训练、在榜单上虚高。改版后，Kimi K3.1 Pro 从原先的第四名降至第九名，前八名均为闭源模型。Artificial Analysis 给出的开源模型与榜首差距，从改版前的 3 分扩大到 12 分。另一款模型 Grok 4.7 也下跌了 12 分。AI 研究者 Nathan Lambert 认为，benchmaxxing 只是一部分原因：当前很多训练收益发生在强化学习环境中，任务与基准测试相似，而要在多个领域同时保持领先，需要成熟的 RL 基础设施，并非每个实验室都具备。稿件信息来自 The Decoder 对 Artificial Analysis 改版的报道，上述排名仅对应本次改版后的评测条件。
为什么重要
榜单方法论的变化，直接改写了开源与闭源之间的“可见差距”。过去公开测试集容易被针对性训练，部分模型排名可能高于真实泛化能力；私有测试集压缩了这种操作空间，也让原本靠公开题库刷分的团队暴露短板。对行业而言，这意味着评测正在从“公开题库竞赛”转向“私有数据加多任务能力”的综合考察。换个角度看，差距扩大并不等于开源模型能力骤降，而是旧指数可能高估了部分模型。闭源厂商在 RL 基础设施和数据闭环上的投入，更容易转化为这类评测中的稳定优势。
对用户/开发者/创作者的影响
对开发者和企业选型来说，榜单名次仍可作为参考，但需要看清测试条件：本次结果基于私有测试集和特定任务组合，不能等同于长期能力排名。调用 API 构建 AI 应用时，建议结合自身场景做小规模对照测试，而不是只看综合分。对开源模型使用者，Kimi K3.1 Pro 的名次变化提示：开源模型在通用榜单上的位置可能波动，但在成本、可控性和本地部署上的优势并未改变。对内容创作者和普通用户，模型选择的核心仍是任务匹配度——图像生成、长文写作、代码辅助各有更适合的模型，单一名次不足以决定取舍。私有测试集也有代价：外部研究者无法再检查提示词中的错误。Artificial Analysis 在 AA-Omniscience 知识测试中就发现过含糊或有缺陷的题目，并在新指数中做了修正。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Artificial Analysis 是否公开更多私有测试集的构成与评分细则，让排名可复核；二是开源模型团队是否针对强化学习基础设施和多领域泛化加大投入，从而缩小分差；三是其他评测机构是否会跟进采用私有测试集，以及模型厂商是否会在 API 文档中披露更细的能力边界。
