安全代码基准测试发布:Vibe Coding 生成代码仅 25.1% 兼具功能与安全

2026年10月10日发布的 Last Secure Code Benchmark 用 450 项任务测试六款前沿编码 AI,即使最强模型 Claude Fable 5 也只有 25.1% 的任务同时通过功能与安全测试,凸显 vibe coding 在安全代码生成上的明显短板。

一句话看懂:2026年10月10日发布的 Last Secure Code Benchmark 用 450 项任务测试六款前沿编码 AI,即使最强模型 Claude Fable 5 也只有 25.1% 的任务同时通过功能与安全测试,凸显 vibe coding 在安全代码生成上的明显短板。

事件核心:发生了什么

根据 Hugging Face Papers 上公开的论文摘要,研究者推出了名为 Last Secure Code Benchmark 的评测集,用于衡量 AI 编码 agent 生成安全代码的能力。该基准由 150 个真实漏洞构建出 450 项任务,覆盖 Java、C、C++、JavaScript、Python、PHP 和 Go 七种常用语言,并涉及 24 个 CWE 弱点类型,其中包括 2025 年 CWE Top 25 中的 21 项以及 Top 10 KEV 弱点中的 8 项,作者称其覆盖范围超过所对比的同类基准。

任务设定为三种 vibe coding 场景:填充函数、编写文件、从零构建仓库源码树。每项任务只提供功能规格,全程不提及安全要求,最终由隐藏的功能测试和安全测试共同评分。在六款前沿 agent 中,功能通过率为 73.6% 至 91.3%,但功能与安全同时达标的比例仅有 16.4% 至 25.1%,其中表现最好的 Claude Fable 5 为 25.1%。在所有 vibe coding 场景的漏洞任务中,最佳模型也仅通过 12%。

为什么重要

AI 编码 agent 已经承担了相当比例的实际代码产出,但功能通过并不等于安全达标。这项评测把“写得出”和“写得安全”明确拆开:在只看功能时,六款模型都有不错的完成度;一旦引入隐藏的安全测试,分数就大幅下滑。对行业而言,这意味着当前大模型在代码生成上的能力评估如果只看编译或测试通过率,可能系统性高估了它们的真实可用性。

另外,基准覆盖的 CWE 和 KEV 弱点类型与真实漏洞直接相关,且任务以“只问功能、不提安全”的方式设计,更接近开发者日常使用 AI 编码工具时不给安全提示的实际场景。这类评测结果若被后续研究复现或扩展,可能影响企业采购编码 agent、制定 AI 生成代码审查流程,以及开源和闭源模型在安全对齐上的竞争方向。目前公开信息显示,该结果仅基于论文摘要所述基准和评测条件,不应视为永久排名。

对用户/开发者/创作者的影响

对直接使用 AI 编码工具的开发者来说,最直接的提示是:不要因为代码能跑就默认它安全。在填充函数、生成文件甚至构建整个项目结构时,AI 可能引入注入、越界、权限处理不当等弱点,而任务规格里往往不会主动提醒。把 AI 生成的代码纳入安全审查、依赖扫描和人工复核,仍然必要。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对团队和企业采购而言,评估编码 agent 时不能只看功能测试通过率或生成速度,应增加针对 CWE Top 25、KEV 等真实弱点的安全评测。对闭源模型厂商和开源社区,安全代码生成可能成为下一阶段模型差异化的关键指标之一,但目前公开摘要仅给出六款 agent 的横向结果,尚不足以判断具体产品在真实项目中的长期表现。

值得关注的后续

一是该基准是否公开完整任务、评分脚本和更多模型结果,供第三方复现与对比;二是模型厂商是否跟进发布针对安全代码生成的优化版本或安全对齐报告;三是企业是否把类似安全通过率纳入编码 agent 的采购标准和上线前检查清单。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29126

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注