arXiv 论文:决策语言模型 Jev 在临床评测中逼近大模型评委,成本仅为 1/73

arXiv 新论文比较了一款名为 Jev 的“决策语言模型”与多种 LLM 评委在临床 AI 输出评测中的表现:其与医生评分的吻合度在部分任务上不输前沿大模型,而成本低至后者的 1/73 到 1/294,耗时也更短。

一句话看懂:arXiv 新论文比较了一款名为 Jev 的“决策语言模型”与多种 LLM 评委在临床 AI 输出评测中的表现:其与医生评分的吻合度在部分任务上不输前沿大模型,而成本低至后者的 1/73 到 1/294,耗时也更短。

事件核心:发生了什么

2026 年 10 月 22 日发布于 arXiv 的论文(编号 2610.28826)提出用决策语言模型 Jev 替代通用 LLM 担任临床 AI 的自动评委。Jev 的特点是直接返回结构化判断,而非自由文本。作者在四个用例中将其与前沿及开源权重 LLM 评委对比:在 118 份儿科回答上,Jev 与医生序数质量评分的 Gwet’s AC2 为 0.50、期望得分 0.53,达到或超过 12 个 LLM 评委中的 7 个,其中包括 Claude Opus 5.5(0.49)与 GPT-6(0.38);在 HealthBench 的医生标注二元标准上,胜过或追平 6 个 LLM 评委中的 4 个;在 MedHELM 开放式任务上,其与三模型评审团的一致性接近或超过评审团内部一致性;在 HealthBench Professional 上,与基准参考评委 GPT-5.4 在 91% 的标准上一致。成本方面,前沿评委是 Jev 的 73 至 294 倍,耗时是 7 至 57 倍。以上均基于论文摘要,未经同行评审或全文核验。

为什么重要

临床 AI 的规模化落地离不开持续、可审计的输出评测,但用前沿大模型当“裁判”在成本和延迟上都很难承受。Jev 指向一条更务实的路线:不做通用对话,而是把评测判断收敛为结构化输出,从而降低推理开销。若结果可复现,它可能改变临床 AI 评测环节的采购与架构选择,也为“小模型专做评测”这一细分方向提供参照。目前公开信息仅限摘要,不宜把单一任务上的数字理解为长期排名。

对用户/开发者/创作者的影响

对开发临床 AI 应用的团队,这意味着可以把自动评测从“调用最贵的前沿 API”转向专用评委模型,控制每次回归测试的成本,并让评测更容易嵌入持续集成流程。对使用 LLM-as-a-judge 的其他场景,论文也提示:评委模型未必要用最大参数量的通用大模型,结构化决策类模型可能更划算。但医疗场景的合规、偏差与可解释性要求更高,任何替换都应以本地验证为准。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与同行评审结果,尤其是 Jev 在不同科室、不同语言数据上的泛化表现;二是是否出现可调用的 API 或开源权重,以及定价是否维持成本优势;三是前沿模型厂商是否推出更便宜的专用评委方案,形成直接竞争。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29653

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注