一句话看懂：AI 评测专家 Madhu Guru 在系列教程第八篇中指出，一个高质量的 eval（评测集）关键在于“判别力”——能把能力真正有差距的模型区分开，而非让所有模型都拿高分或都失败。
事件核心：发生了什么
Madhu Guru 于 8 月 25 日在 X 平台发布了《How to build great evals》系列第八部分，重点讨论评测的判别属性（discriminatory property）。他给出了一个具体例子：对五个 AI 系统运行同一评测，得分分别为 A: 94、B: 93、C: 95、D: 94、E: 92。但如果已知 A 和 C 的实际能力明显强于 D 和 E，这个评测就是失败的，因为它没有展现出真实的实力分层，判别力不足。
他比喻说，这就像给一群数学博士考五年级算术——所有人都得满分，你无法判断谁更聪明。但评测也不应该无限加难，如果所有人都失败，说明评测已经偏离了系统本应完成的任务。
为什么重要
这一观点直击当前大模型评测的核心矛盾：随着基础模型和工程能力的提升，许多早期评测集已经“饱和”——闭源模型和开源模型都能轻松拿高分，评测分数失去了筛选意义。判别力成了衡量评测质量的关键指标，它决定了开发者能否依据评测结果做模型选型、能力对比和迭代决策。对整个行业而言，低判别力的评测会误导竞争判断，让模型供应商用刷分代替真实能力提升。
对用户/开发者/创作者的影响
对于正在做 AI 应用开发或大模型选型的技术团队，这一原则意味着：不能只看某个公开榜单的绝对分数，而要关注评测集是否区分了不同能力层级的模型。如果你正在构建自己的评测集，需要避免“过易”或“过难”两个极端，选择贴近真实任务、难度适中且对能力差异敏感的题目。对于依赖 API 做应用的开发者，这提示你应建立自己的小型能力基准，而不是盲目信任厂商公布的跑分。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
Madhu Guru 在文末抛出了一个实际问题：当优秀评测集随着模型进步逐渐饱和后，应该怎么办？他邀请读者在评论区给出方案。后续可以关注三点：一是他是否会继续发布第九部分给出具体解法；二是社区是否会出现新的“自适应难度”评测方法，例如动态调整题目难度来持续追踪模型能力上限；三是这一系列观点是否会加速行业从静态评测向分层评测、对抗性评测转移。
