新基准MKA:200项多模态专业任务,顶尖模型完成率不足57%

arXiv 上出现一个新基准 MKA,用 200 项依赖看图理解的专业任务考核多模态智能体,结果显示最强模型在“前沿指标”上的通过率仍不到 57%,说明端到端专业工作能力还有明显短板。

一句话看懂:arXiv 上出现一个新基准 MKA,用 200 项依赖看图理解的专业任务考核多模态智能体,结果显示最强模型在“前沿指标”上的通过率仍不到 57%,说明端到端专业工作能力还有明显短板。

事件核心:发生了什么

根据论文摘要,作者提出 Multimodal Knowledge Agent(MKA)基准,用于衡量自主智能体完成端到端专业工作的能力。每项任务都要求智能体从多份信息密集的视觉文件中提取并整合信息,例如 CAD 图纸、电子原理图、X 光片、复杂图表和地理空间地图,最终输出 .xlsx、.pptx、.pdf、.docx、.html 或 .png 格式的独立交付物。MKA 共包含 10 个经济领域的 200 项任务,由沙盒内的智能体自动评分器按专家加权评分标准打分;在专家评分研究中,其与人类专家在 96.2% 的评分判断上一致(Cohen’s κ = 0.91)。评测采用两个指标:总体加权满足率(WSR),以及针对前代模型尚未饱和的前沿标准计算的 Climb-WSR。

为什么重要

摘要指出现有基准对这一能力覆盖不足:去掉图片查看工具后,Gemini 4 Carbon 在 GDPval 上的得分没有变化;GDP.pdf、GDP.xlsx 这类单格式评测也不要求跨文件、跨模态推理。如果这一判断成立,行业此前对多模态智能体的“高分”可能高估了真实专业场景表现。MKA 把交付物和多文件视觉理解绑定在一起,更接近咨询、工程、设计等岗位的实际工作流,也可能成为模型厂商展示推理与工具调用能力的新的评测基准。

对用户/开发者/创作者的影响

对开发者而言,MKA 的任务形态提示了一个方向:多模态智能体不只是“看图说话”,还需要读取图纸、表格、地图,并生成可直接交付的文件,这对工具调用链、长上下文、输出格式控制提出更高要求。摘要显示,Claude Fable 5.2 取得 56.6% Climb-WSR 和 73.3% 总体 WSR,Gemini 4 Carbon 为 54.3% 和 71.9%,且后者 token 用量少 5.7 倍;如果企业按推理成本选型,能效可能成为关键变量。对普通用户和创作者,短期内更现实的预期是:让智能体独立完成一份带图表的报告或分析文件,仍需人工复核。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

目前公开信息仅为论文摘要,全文实验细节、任务分布和评分器局限尚待核验。后续可关注:一是 MKA 是否开源任务集或公开评测入口,形成社区可复现的标准;二是各模型厂商是否针对跨文件视觉推理优化产品与 API;三是“自动评分器替代专家评分”的做法在更复杂交付物上是否依然可靠。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36147

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注