微软发现不到10个神经元即可植入AI Agent后门

微软研究团队披露一种名为 Lazarus 的方法,只需改动不到 10 个休眠神经元,就能在无需重新训练的情况下给大模型植入后门,并能绕过常规安全评测。对具备工具和终端权限的 AI Agent 而言,这意味着更现实的供应链风险。

一句话看懂:微软研究团队披露一种名为 Lazarus 的方法,只需改动不到 10 个休眠神经元,就能在无需重新训练的情况下给大模型植入后门,并能绕过常规安全评测。对具备工具和终端权限的 AI Agent 而言,这意味着更现实的供应链风险。

事件核心:发生了什么

微软首席研究员 Dimitris Papailiopoulos 在微软研究院博客中介绍了 Lazarus 技术。该技术利用预训练阶段形成的内部表示,用约 50 个样本训练简单分类器,再重新编程极少量的休眠神经元,使其识别特定触发条件。触发后,被改写的神经元会强制模型输出指定 token,串联多个神经元即可生成可在终端执行的指令序列。演示中,触发条件只是日期变成 2027 年,Agent 随后下载并运行攻击者提供的代码。

该攻击不需要重新训练,只需推理算力和对模型 checkpoint 的写入权限。被篡改的模型仍能通过标准安全评估,企业内部模型与开源权重模型同样面临风险。

为什么重要

过去软件安全主要验证代码和文件,Lazarus 说明模型权重本身也能携带隐藏指令。对使用 API 或开源大模型构建 AI 应用的团队来说,模型来源和完整性将与代码审计同等重要。目前公开信息显示,该方法仍属研究披露,并非已上线的攻击工具或产品功能。

对用户/开发者/创作者的影响

开发者应核对模型来源,尽量与声明的原始权重做比对,并限制 Agent 的工具和终端权限。企业采购闭源模型时,也需要供应商提供权重完整性证明。创作者使用 AI Agent 处理文件或发布内容时,应避免授予不必要的敏感操作权限,并保留人工审核环节。微软表示正在为 Foundry 平台开发模型来源检查、容器扫描、AI 权重扫描和加密签名等防护措施。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是微软 Foundry 的权重扫描和签名机制何时落地;二是模型厂商是否跟进推出可验证的权重完整性方案;三是监管或行业标准是否会要求 AI Agent 披露权限范围并强制敏感操作前审核。可靠检测目前仍依赖与原始模型比对,单一检查无法保证安全。

来源:The Next Web

celebrityanime
celebrityanime
文章: 34335

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注