虚拟座谈会:机器时代的安全——专家解读 AI 威胁的演变

多位网络安全专家在 InfoQ 虚拟座谈会上指出,AI 正在从防御工具变为攻击者手中的利器,最具破坏力的两类攻击已不是单纯的技术漏洞,而是 AI 增强的“工业化”社会工程学攻击,以及通过间接提示注入对代理系统权限的滥用。这意味着传统的“补丁-修复”安全思维已失效,安全工程师必须掌握机器学习、模型行为和数据治理…

虚拟座谈会:机器时代的安全——专家解读 AI 威胁的演变

一句话看懂:多位网络安全专家在 InfoQ 虚拟座谈会上指出,AI 正在从防御工具变为攻击者手中的利器,最具破坏力的两类攻击已不是单纯的技术漏洞,而是 AI 增强的“工业化”社会工程学攻击,以及通过间接提示注入对代理系统权限的滥用。这意味着传统的“补丁-修复”安全思维已失效,安全工程师必须掌握机器学习、模型行为和数据治理等新技能。

事件核心:发生了什么

InfoQ 组织了一次网络安全专家虚拟座谈会,参与者包括 Trentino Digitale 的 Elham Arshad、Expleo 集团的 Sabri Allani、UltraViolet Cyber 的 Vijay Dilwale 以及热那亚大学的 Igor Maljkovic。他们一致认为,AI 时代的攻击已从传统的代码漏洞转向针对模型行为、训练数据和系统边界的“概率性”攻击。最具破坏性的案例是:攻击者利用生成式 AI 结合开源情报(OSINT)和泄露数据,制作出高度个性化、能维持逼真对话的钓鱼信息,绕过多因素认证(MFA)直接攻击身份恢复流程和业务审批。同时,在 AI 代理系统(如接入电子邮件、CRM、CI/CD 管道的助手)中,间接提示注入已成为主要威胁:攻击者只需在模型会摄入的 PDF、邮件或工单描述中埋入恶意指令,便能劫持代理的合法权限执行数据外泄或操作篡改。

为什么重要

这些发现打破了两个常见误解:第一,AI 攻击不只是“更聪明的钓鱼”,而是“工业化量产”的精准说服,传统的事件响应手册和基于规则的防御难以应对。第二,AI 系统自身的安全问题比模型漏洞更现实——提示词注入、数据中毒等攻击门槛低、攻击面广(模型与网页、文档、用户消息交互),且影响会沿着下游自动化和人工决策链条扩散。现实安全事件中,AI 驱动的攻击已变得难以与正常业务沟通区分。这迫使行业重新思考安全策略:从保障“确定性软件”转向保障“概率性系统”,安全工程师需要同时具备编程、机器学习、数据治理以及阅读前沿论文的能力,并将抽象风险转化为可落地的解决方案。

对用户/开发者/创作者的影响

对于企业开发者:在构建 RAG(检索增强生成)或 AI 代理系统时,必须采用“安全设计”原则——对工具调用实施最小权限、控制检索范围、对模型摄入内容做严格验证。建议定期进行对抗性红队测试,模拟数据中毒、间接注入和权限滥用场景。对于普通用户:接到来历不明的、包含具体项目信息的邮件或语音消息时,需提高警惕——AI 生成的深度伪造语音和语境适配性极强的钓鱼邮件已非常逼真。对于内容创作者:在公开分享包含内部术语、组织结构或工作流的内容时,应意识到这些信息可能被攻击者用于构建更可信的社会工程学攻击链路。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 基于 NIST AI RMF 和 ISO/IEC 42001 的评估框架是否会成为行业合规标准?目前尚无强制规范,但已有专家呼吁将其融入企业安全审计。
2. 防范间接提示注入的“代理安全”工具(如策略引擎、工具调用日志监控)是否会出现商业化产品?目前多家安全初创公司正在开发相关方案。
3. 大模型 API 供应商(如 OpenAI、Google Cloud 等)是否会更新安全层,在模型输入端增加对抗性提示校验?这取决于市场反馈和攻击事件频率。

来源:InfoQ CN

celebrityanime
celebrityanime
文章: 15020

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注