谷歌DeepMind联合AA推MKA新基准:复杂图纸出交付物,Claude Fable 5.2以57%登顶

Artificial Analysis 与 Google DeepMind 联合推出多模态知识代理基准 MKA,用 200 个真实视觉任务检验 AI 能否从工程图纸、临床扫描等复杂文件中产出幻灯片、表格等交付物;首轮榜单中 Claude Fable 5.2 拿到 57% 的 Climb WSR 首位。

一句话看懂:Artificial Analysis 与 Google DeepMind 联合推出多模态知识代理基准 MKA,用 200 个真实视觉任务检验 AI 能否从工程图纸、临床扫描等复杂文件中产出幻灯片、表格等交付物;首轮榜单中 Claude Fable 5.2 拿到 57% 的 Climb WSR 首位。

事件核心:发生了什么

2026 年 11 月 10 日,Artificial Analysis 发布了与 Google DeepMind 合作的多模态知识代理(MKA)评测。该基准包含 10 个行业的 200 个私有真实任务,输入是建筑图纸、工程示意图、临床扫描等高密度视觉文件,输出要求为幻灯片、电子表格、PDF、Word 文档和标注图像等。评测在开源代理框架 Stirrup 中运行,允许代码执行、网页搜索、网页抓取和查看图像,最多 250 轮;交付物由 GPT-6 Luna(medium)担任代理评审。每个任务平均约 70 条加权标准,分为基础性的 Regression 和区分度更高的 Climb,头条分数取 Climb WSR。

首期结果显示,Claude Fable 5.2(max)以 57% 居首,Gemini 4 Carbon(high)为 54%,Claude Opus 5.5(max)为 53%。

为什么重要

多数代理评测偏重网页操作或编码,MKA 把重点放在“看懂图纸再交付成果”这类知识工作上,且视觉输入是完成任务所必需而非背景补充。这可能更贴近工程、医疗、法律、金融等行业的真实流程,也为多模态大模型和闭源 API 买家提供了一个新的选型维度。值得注意的是,前十名分数差距仅约 10 个百分点,但单任务成本从约 1.11 美元到 31.97 美元不等,近 30 倍差距,说明“最强”和“最划算”并不重合。

对用户/开发者/创作者的影响

企业采购方可参考成本—性能前沿:Claude Fable 5.2 每任务约 31.97 美元,Gemini 4 Carbon 约 6.29 美元却只差约 2 分;OpenAI 四款测试模型位于前沿曲线上,GPT-6.1 Sol 约 1.11 美元。开发者若构建图纸理解或报告生成类 AI 应用,应针对自身交付物类型选型——MKA 显示 Word 文档和文本文件最难,没有模型超过 52%。目前公开信息显示,没有任何模型领跑全部 10 个行业,也没有单一模型通吃六种输出类型。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是该基准任务与提示是否公开,能否复现;二是各模型厂商是否会针对图纸、表格类任务推出专用能力或定价调整;三是不同行业榜单是否会演变为细分采购标准。以上排名仅适用于原文发布日期和评测条件,不宜视为永久结论。

来源:Artificial Analysis

celebrityanime
celebrityanime
文章: 34114

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注