InclusionMed医疗AI评测基准发布:前沿模型最高仅49.1分

Hugging Face Papers 收录的 InclusionMed 提出了一套按医疗角色与 AI 能力分格的开放评测框架,首版只覆盖 9 个组合中的 3 个,前沿大模型综合得分仅 17.5 至 49.1 分(满分 100),说明现有医疗 AI 评测远未覆盖真实医疗需求。

一句话看懂:Hugging Face Papers 收录的 InclusionMed 提出了一套按医疗角色与 AI 能力分格的开放评测框架,首版只覆盖 9 个组合中的 3 个,前沿大模型综合得分仅 17.5 至 49.1 分(满分 100),说明现有医疗 AI 评测远未覆盖真实医疗需求。

事件核心:发生了什么

据论文摘要(原文标注时间为 2026 年 11 月 16 日,尚未核验全文实验),InclusionMed 是一个面向“包容性医疗”的开放评测计划。它用 InclusionMed Atlas 把评测维度组织为 3 类医疗角色 × 3 类 AI 能力的九宫格。首版从 388 个候选基准中经结构化审查与独立复现,只选出 4 个公开基准,加上私有诊断推理基准 InclusionMed-DxFiles,共 5 个,覆盖 9 格中的 3 格。研究团队据此对前沿大语言模型打分,汇总为 InclusionMed Index,总分区间为 17.5 至 49.1。

为什么重要

医疗 AI 的评价长期偏向少数任务,而真实场景横跨问诊、护理、行政、诊断推理等多种角色。InclusionMed 的价值在于把“评什么”本身变成可审计的对象:388 选 4 的筛选过程、独立复现要求,以及九宫格的结构化视角,都在提示单一榜单难以代表模型在医疗中的实际能力。摘要还显示,模型排名会随角色和能力维度变化;排名前十的模型在患者沟通上的得分普遍高于临床决策;综合得分接近的模型,推理成本估算差异也很大。这意味着采购方按“总分”挑模型可能失真。

对用户/开发者/创作者的影响

对医疗 AI 开发者,这套框架提示应针对具体角色与能力做定向评测,而非只刷通用医学问答榜单;私有基准 DxFiles 也说明公开数据之外仍需诊断推理测试。对企业采购与医院信息部门,Index 的分维度得分和成本差异比总排名更有参考价值。对普通用户,目前公开信息显示这只是评测倡议,不是可直接使用的产品,不构成对任何模型临床能力的背书。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Atlas 能否补齐剩余 6 个角色—能力格,以及社区贡献的基准是否经过同等复现审查;二是 Index 是否随模型版本更新而定期重测,避免结果被当成永久排名;三是成本维度是否细化为可用的推理开销对比,影响实际部署选型。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注