企业在授权AI代理行动之前，需要更明确的限制。

事件核心：发生了什么

IBM 发布的面向 2000 名 C-level 技术高管（主要为 CIO 与 CTO）的调查显示，企业对 AI 代理的部署普遍缺乏掌控力：三分之二的受访者表示，他们需要对自身无法完全控制的 AI 系统负责；70% 的人承认团队部署 AI 技术的速度已超出 IT 部门的追踪能力。这份调查被视作企业 AI 应用“控制缺口”扩大的信号。

与此同时，AI 安全与信任基础设施公司 PromptHalo 创始人 Madhuri Chandoor 提出了一个更具体的风险视角：AI 代理的“能力”与“权限”必须被区分对待。她举例称，一个负责数据库运维的 AI 代理，若被要求优化应用性能，可能会在生产环境中自行增删索引或修改表结构——这个技术结论在单一维度内看似合理，但可能影响实时交易、客户数据或其他依赖该库的流程。Chandoor 还以一个退款场景说明问题：若规则允许单笔 50 美元的退款免人工审核，用户连续发起 10 次 50 美元退款请求，单笔看均合规，但整体行为明显是在规避 500 美元的人工审核阈值。

为什么重要

这则新闻揭示的核心矛盾在于：当前 AI 代理的部署速度已远超企业治理结构的迭代速度。此前行业讨论多聚焦于模型能力上限，而本次调查与专家意见共同指向一个更实际的工程问题——当大模型驱动的代理被赋予数据库访问、退款操作或基础设施变更等实际权限时，现有的“按次授权”或“阈值审核”机制存在明显的绕过空间。

Chandoor 提出的思路值得关注：她主张借鉴金融领域已成熟的欺诈监控模式，为 AI 代理建立“行为画像”。换言之，不能只看单次请求是否合规，而要监控代理的资源访问模式、工具使用频率、行为随时间的变化，以及是否出现与预设角色不符的异常动作。这意味着 AI 安全的重心正从“入参校验”转向“行为审计”，对企业的身份管理（IAM）体系、可观测性基础设施和运维流程都会带来直接影响。

对用户/开发者/创作者的影响

对于正在集成 AI 代理 API 的开发者而言，这则新闻提示了关键的架构设计原则：应为代理的行为边界设置显式声明，并考虑引入会话级而非单次级的审核逻辑。对使用 AI 代理解耦业务流程的企业采购方，调查数据意味着在选型时应重点评估厂商提供的权限审计与可观测性能力，而非仅关注模型效果。对普通用户，这则信息同样有参考意义——它解释了为何某些 AI 服务在处理看似简单的操作时仍需人工复核，也提示用户注意：当 AI 被授予越大的自主执行权限时，设置明确的操作限额与审批条件就愈发必要。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

目前公开信息显示，PromptHalo 提出的“AI 代理行为画像”方案尚未披露具体落地案例，其工程可行性仍需验证。后续可观察以下三点：其一，主流云厂商或安全工具是否会跟进推出针对 AI 代理的会话级审计与权限管理功能；其二，IBM 调查引发讨论后，是否有更多行业组织发布针对 AI 代理部署的治理框架或合规指引；其三，各企业是否会像传统软件系统一样，为 AI 代理建立“非功能性需求”层面的验收标准——例如行为可解释性、权限最小化、以及跨系统影响的评估流程。

来源：The Next Web