一句话看懂:AI评测研究机构METR在2026年11月更新了其“任务时长”测量图,加入更需要人类判断力的任务类别。结果显示部分AI能力仍呈指数级提升,但模型在“设计AI评测”这件事上明显落后。
事件核心:发生了什么
据MIT Technology Review记者Grace Huckins报道,METR对其知名的“时间视界(time horizon)”图表做了更新,在原有任务体系之外加入了判断力密集型任务。该图表的逻辑是测量AI模型能以一定成功率完成多长的人类任务,并用这条曲线观察能力随训练规模变化的趋势。此次更新后,原先的指数增长趋势在部分能力上依然成立,但同时暴露出一个薄弱环节:模型并不擅长设计AI评测本身。
目前公开信息显示,这是一项评测方法层面的更新,而非某个新模型发布或产品上线,具体任务构成与实验细节仍以METR官方材料为准。
为什么重要
“时间视界”曲线近两年被广泛用来讨论大模型能力是否进入平台期。此次加入高判断力任务后仍出现部分指数增长,说明简单任务饱和不等于整体能力停滞;任务难度分层会改变结论。更值得注意的是“模型不会设计评测”这一点:评测是衡量训练收益、指导推理算力分配和模型选型的基础设施,如果自动化评测能力跟不上模型能力,闭源与开源团队都容易陷入用旧考题衡量新模型的偏差。
对用户/开发者/创作者的影响
对开发者而言,选型时不宜只看单一任务时长分数,应结合自身业务任务类型和成功率要求;对企业采购,评测报告的任务分布和判断标准比总分更有参考价值。对AI应用团队,自建贴近真实场景的评测集仍是必要工作,不能完全依赖模型自动生成测试题。对创作者,这更多是理解工具能力边界的信息:判断密集型任务上,模型输出仍需人工审核。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是METR是否公开更新后的任务分类与完整数据,供外部复现;二是“指数增长”在各任务类别中的差异是否稳定,而非单次测量波动;三是各大模型厂商和第三方评测机构是否跟进引入判断力密集型任务,以及自动设计评测这一方向能否出现可用工具。
来源:Techmeme


