一句话看懂：1Password 旗下安全实验室的大规模测试发现，用前沿大模型自动生成漏洞补丁的成功率仅 26%，部分补丁还会改变应用行为甚至引入新漏洞——AI 补丁仍需人工审查，不能直接信任。
事件核心：发生了什么
1Password 的 Off-by-1 Labs 研究人员做了一项针对性实验：他们选取六个近期公开的 CVE 漏洞，让两款具备网络攻击能力的前沿推理模型——ChatGPT 5.5（中等推理强度）和 Claude Opus 4.8（高推理强度）——分别生成修复补丁，共产生 6080 个样本。
测试结果并不理想。在所有生成的补丁中，只有 26% 完全解决了漏洞；49.3% 的补丁至少有⼀条既有漏洞利用路径未被封堵；20.1% 虽然修复了原始问题，却改变了应用原有行为；2.3% 引入了新的安全问题；另有 2.2% 既没修好漏洞、又带来了新的可利用路径。即使在表现“合格”的补丁里，也有超过三分之一属于脆弱修复，未能真正解决底层问题。
研究团队将这些 AI 生成补丁命名为 FLAWED（Fix-Like Artifacts With Embedded Defects，即“带有缺陷的类修复产物”），并明确警告：未经人工审查的纯 LLM 补丁，其预期价值是净负面的。
为什么重要
这次实验的意义不在于否定大模型在安全领域的能力，而是提供了一个可量化的基准：当 AI 在缺乏上下文的情况下直接生成安全补丁时，成功率远低于可用线。值得注意的是，研究人员发现，如果给 AI 提供正确的前置引导，成功率能升至 65%；而错误引导会让成功率跌至 15.2%。这说明问题不全在模型推理能力，更多在于任务定义和上下文质量——但人类开发者的优势恰恰在于能识别误导性信息，而 AI 目前做不到。
在安全领域，一个错误的补丁往往比不补更危险：它可能让团队误以为漏洞已修复，实际却留有利用路径，形成虚假安全感。这正是“净负面”结论背后的真实风险。
对用户/开发者/创作者的影响
对开发者尤其是安全工程师来说，这份研究意味着工作流程需要调整：AI 生成补丁可以作为一个起点或草稿，但必须纳入现有的代码审查和漏洞复测流程，不能直接合入生产环境。对依赖自动化安全工具的企业而言，采购 AI 安全产品时应当关注厂商是否提供补丁评估机制，而非只看演示效果。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
研究团队已将 FLAWED 评估工具（patch evaluation harness）开源，组织可以用它来量化自己 AI 生成补丁的有效性——这在 AI 辅助开发日益普及的当下，是一个值得直接使用的排查手段。
值得关注的后续
接下来有几个观察点：第一，FLAWED 评估框架是否会被更多安全团队采用，形成行业通用的 AI 补丁质量基准；第二，随着模型迭代，这一测试结果是否会明显改善，尤其是在加入代码库上下文和漏洞描述之后；第三，主流代码助手产品是否会基于此类研究，在产品中内置补丁质量检测或风险提示功能，而不是继续默认输出“看起来合理”的修复建议。
来源：TechRadar
