arXiv论文:AI智能体安全不可验证,复合系统仍可能失控

一篇 arXiv 新论文从理论上论证,当前“固定大模型+通用计算设备”的智能体组合方式使安全性无法被通用验证;即便设定有限约束,验证难度也达到 PSPACE 完全。这为护栏、黑名单和认证类安全方案划出了能力边界。

一句话看懂:一篇 arXiv 新论文从理论上论证,当前“固定大模型+通用计算设备”的智能体组合方式使安全性无法被通用验证;即便设定有限约束,验证难度也达到 PSPACE 完全。这为护栏、黑名单和认证类安全方案划出了能力边界。

事件核心:发生了什么

arXiv 于 2026 年 11 月 20 日发布论文《Pandora’s Toolbox Or Why Agent Safety Cannot Be Verified》(编号 2611.25325),属于 cs.AI 新投稿。作者的核心论点是:现有智能体把语言模型与可执行程序的通用计算环境耦合,在这种架构下,给定一段危险程序,不存在算法能判断智能体是否会执行语义等价的程序,因此安全不可判定。

论文进一步指出,护栏、黑名单、白名单和认证只能得到不完美的安全方案;若把上下文、取值和运行时间限制为有限范围,安全虽可判定,但问题依然是 PSPACE 完全的,即使智能体描述已知也如此。作者还称安全不是组合性质:单独可证明安全的智能体组合起来仍可能产生不安全行为。论文最后讨论了可在实践中采用的放宽版安全定义。

为什么重要

这条结论对当前“给智能体加护栏就等于安全”的行业叙事构成直接挑战。无论是调用 API 执行代码、操作浏览器,还是接入文件系统的 AI 应用,只要具备通用执行能力,静态检查就难以穷尽行为空间。论文也提示认证体系不应被理解为绝对保证。需要说明的是,上述内容来自摘要,全文实验与证明细节尚未核验,也未经同行评审确认。

对用户/开发者/创作者的影响

对开发者而言,这意味着不能把安全预算全部押在提示词过滤和关键词黑名单上,更现实的方向是限制工具权限、隔离执行环境、对高风险动作引入人工确认,并记录推理与执行日志。对企业采购方,供应商的“已通过安全认证”应被视为门槛而非保险。对普通用户,使用能自动执行代码或交易的智能体时,仍需把权限最小化当作默认习惯。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否给出可操作的放宽安全判定方法,以及能否落地为工程规范;二是主流智能体框架和模型厂商是否在运行时权限隔离上跟进;三是监管与认证机构是否调整对“可验证安全”的表述。目前公开信息显示,这些方向均待观察。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36155

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注