阶跃与上海人工智能实验室发布《新一代智能体系统安全技术白皮书》

阶跃与上海人工智能实验室联合发布了业界首部聚焦智能体系统安全的技术白皮书,提出了“可信、可见、可控、可逆”的安全框架,为智能体能力扩张划定安全边界,并计划推动相关国家标准研制。

阶跃与上海人工智能实验室发布《新一代智能体系统安全技术白皮书》

一句话看懂:阶跃与上海人工智能实验室联合发布了业界首部聚焦智能体系统安全的技术白皮书,提出了“可信、可见、可控、可逆”的安全框架,为智能体能力扩张划定安全边界,并计划推动相关国家标准研制。

事件核心:发生了什么

7月13日,阶跃与上海人工智能实验室联合发布了《新一代智能体系统安全技术白皮书》及《端侧大模型网络安全指南》。根据财联社报道,该白皮书首次系统性地提出了“可信、可见、可控、可逆”四维智能体安全框架。双方还将共同研制智能体安全技术的国家标准。这是国内首次有企业级与国家级研究机构联合对智能体系统的安全体系进行系统化定义和标准探索。

为什么重要

智能体(Agent)正成为大模型能力落地的核心形态,但自主决策、工具调用、跨系统交互也带来了不可忽视的安全风险,如恶意指令注入、数据泄露、执行失控等。此前行业更多集中在模型本身的安全(如幻觉、偏见),而对智能体调度、多轮对话与外部API调用过程中的系统性安全缺乏统一框架。此次白皮书提出的“四可”框架,实际上是一套针对智能体行为边界的管理逻辑,为开发者提供了一套可落地的安全设计指南,同时也为参与国家标准制定奠定了基础,可能影响后续AI应用的上线合规与安全评估流程。

对用户/开发者/创作者的影响

对开发者而言,这意味着未来在构建基于大模型的应用时,需在调度层和API接口层面嵌入安全控制机制。对使用智能体工具的创作者和企业用户来说,安全框架的落地有望减少因智能体误操作或恶意注入带来的数据损失风险。对于正在开发端侧大模型应用的团队,《端侧大模型网络安全指南》则提供了设备端运行环境下的安全参考,有助于规避因本地模型被利用而造成的隐私泄露。整体来看,安全标准的建立可能提升AI应用的准入门槛,但长期有利于建立用户信任。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,阶跃与上海人工智能实验室是否会进一步开源相关安全检测工具或测试基准,便于开发者直接检测智能体系统的安全性。第二,双方正在推动的国家智能体安全标准,预计何时进入征求意见稿阶段,首批参与的厂商和评估对象有哪些。第三,目前公开信息显示,该框架尚处于白皮书阶段,其安全方案是否会落实为行业通用的安全基线测试,以及是否会影响主要云厂商和模型提供方的API安全策略更新。

来源:Readhub · AI

celebrityanime
celebrityanime
文章: 13071

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注