开放权重模型在CTI-REALM基准上以更低成本追平闭源

arXiv 新论文显示,在 CTI-REALM 安全检测任务中,开放权重模型在放宽对话轮数限制后,奖励超过闭源模型,且成本不到后者的十分之一。这一发现挑战了“闭源前沿模型必然更强”的默认假设。

一句话看懂:arXiv 新论文显示,在 CTI-REALM 安全检测任务中,开放权重模型在放宽对话轮数限制后,奖励超过闭源模型,且成本不到后者的十分之一。这一发现挑战了“闭源前沿模型必然更强”的默认假设。

事件核心:发生了什么

2026 年 10 月 14 日,arXiv cs.AI 发布了一篇新论文(arXiv:2610.14180),在 CTI-REALM 基准上系统比较了 26 个语言模型,其中 19 个开放权重、7 个闭源。任务形式是让 AI 智能体读取威胁情报报告,通过查询实时遥测存储,生成可用的检测规则。

论文摘要指出,CTI-REALM 原先公布的消息轮数上限是一个干扰项:一旦任务耗尽轮数,即使在已经通过的检查点上也会被清零。因此原有榜单部分衡量的是“谁能按时做完”。当开发者放宽这一限制后,被截断的模型恢复表现,最高奖励归属于开放权重模型。论文还发现,在领先模型中价格与能力关联很弱,奖励相近的模型成本可相差一个数量级以上。

为什么重要

企业若想在安全运营中使用语言模型智能体,长期面临一个选择:自托管、可审计的开放权重模型,还是昂贵得多的闭源前沿模型。这篇论文用统一评测框架给出一个信号:在特定安全任务上,开放权重模型可能只需要“多给几轮对话”,就能匹配甚至超过闭源对手。

更关键的是对评测方法的反思。论文指出,CTI-REALM 原有的检查点得分主要记录智能体“做过或提到过什么”,而不一定反映它实际提交的检测质量。作者因此提出阶段级指标,直接在遥测存储中执行模型提交的检测查询,再对照答案判定输出。这不是要合成一个总榜,而是展示不同模型在不同阶段各有所长,提示按阶段路由到最合适的模型,而非按总分选一个模型包打天下。

对用户/开发者/创作者的影响

对安全团队和 AI 应用开发者而言,这项研究提供了一种可操作的采购思路:在智能体工作流中,不一定要为每个环节都调用最贵的闭源模型。开放权重模型在本地运行、可审计、成本低,若任务轮数可以放宽,可能是更务实的选择。论文同时提醒开发者,若产品依赖固定轮数限制,评测结果可能低估模型的真实能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

论文还报告了各模型的输出 token 数量,发现用于“思考”的 token 占比与最终奖励并无对应关系。对构建智能体的开发者来说,这意味着不能简单用推理长度或思维链长度作为选型代理指标。目前公开信息仅来自摘要,尚无全文实验细节和同行评审结论,实际效果需等代码与数据发布后验证。

值得关注的后续

第一,CTI-REALM 的轮数限制是否会被修订,以及修订后榜单如何变化。第二,开放权重模型在放宽限制后的领先优势,能否在更多安全任务和真实企业环境中复现。第三,论文提出的阶段级指标和按阶段路由思路,是否会被安全厂商或 AI 智能体平台采纳为产品设计原则。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29093

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注