一句话看懂：2026 年 11 月 3 日，Collinear AI 在 Hugging Face 发布 CWE-bench v2，公开 100 项覆盖 91 种 CWE 的安全修复任务，用于评测前沿模型的攻防能力，全部任务、评分器与运行框架均可复现。
事件核心：发生了什么
CWE-bench 是 Collinear AI 推出、用于测试前沿网络安全能力的基准。v2 版本将公开任务集扩展至 100 项，覆盖 91 种不同的 CWE，涉及较广的漏洞类别；同时保留一套未公开的 held-out 集，用于跟踪模型在未见任务上的进展。
任务形式与旧版一致：被测 Agent 拿到真实开源仓库的代码检出和一段简短指令，需要在不破坏原有功能的前提下找到并修复安全缺陷。评分完全由程序完成，结果确定且可零额外成本复现；每道题还经过 LLM 评审小组打磨和人工复核，并检查指令是否贴近真实场景、验证器是否只校验正确行为而非某一种修复结构、原始代码是否失败而参考修复是否通过等质量项。
截至发布时，官方共评测 11 个模型。Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 居首，Claude Opus 5.5 以 67.3% pass@1、78.0% pass@4 紧随；95 项任务至少被一个模型解出，但领先模型在每一次尝试中仍有 19% 的任务无法通过。成本方面，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 约增加 10 个百分点、成本 1.83 美元，Gemini 以 3.92 美元略微领先。
为什么重要
安全修复与普通编程任务不同，防守方需要覆盖攻击者可能利用的多种弱点面，仅识别熟悉模式并不够。把评测做成公开、程序化、可复现的任务集，能让不同实验室的结果在相同条件下比较，减少“自家评测口径”带来的偏差。公开集与 held-out 集并行，也有助于区分真实能力与对已知补丁的记忆。
此外，这些任务被标记为 rl-environment，同一套环境与验证器不仅可做评测，也能为训练防御型 Agent 提供奖励信号，意味着基准可能从“排行榜工具”延伸到训练数据与强化学习环境。
对用户/开发者/创作者的影响
开发者现在可以直接从 Hugging Face 仓库运行整套基准：每道题是一个自包含的 Harbor 任务，包含 Docker 化环境、指令和确定性验证器，数据集附带 registry.json，无需自行克隆。数据集设有访问门槛，需先在数据集页面接受使用条件，并通过 hf auth login 将 token 写入 git 凭据助手。对关注模型选型的团队来说，公开的 pass@1、pass@4 与单次 rollout 成本，提供了安全场景下可横向对比的参考；对做安全 Agent 训练的团队，则可复用同一环境构建强化学习流程。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是公开集与 held-out 集上的成绩差距是否会收窄，以判断模型是真正理解漏洞还是依赖模式记忆；二是更多 API-only 模型和开源权重模型加入后，排行榜名次与成本前沿是否变化；三是社区提交的任务反馈与贡献能否持续提升题目质量，以及 rl-environment 是否会被更多团队用于防御型模型训练。上述结果仅对应 2026 年 11 月 3 日发布时、该任务集与评测条件下的表现，不应视为永久排名。
