2026 智源大会议程公开|AI 智能体安全论坛

2026 智源大会议程公开|AI 智能体安全论坛

2026 智源大会议程公开|AI 智能体安全论坛

一句话看懂:2026年智源大会将于6月12-13日在北京举办,其中AI智能体安全论坛由智源研究院与安远AI联合主办,聚焦自主智能体带来的记忆投毒、工具链劫持等新型风险,讨论从风险治理到安全基础设施的系统性解法。这是当前AI行业从“生成答案”转向“自主执行”后,最亟待解决的安全议题之一。

事件核心:发生了什么

第八届智源大会定档2026年6月12-13日,大会坚持“学术硬核”定位,将汇聚200余位学者和40余位AI企业CEO。其中,6月13日上午的“AI智能体安全论坛”由智源研究院和安远AI联合主办,论坛分为两大板块:一是“自主智能体的前沿风险”,邀请南洋理工大学安波、复旦大学杨珉、新南威尔士大学Toby Walsh、MIT研究员Stephen Casper做主题演讲并参与圆桌讨论;二是“构建可信智能体系统”,由智源、新加坡国立大学、北京邮电大学等机构的研究者分享从内容安全到可信多模态大模型的前沿成果。论坛特别强调“研究与工程的交汇点”,试图将智能体安全问题从学术讨论推向可落地的系统能力。

为什么重要

大模型正从“生成式AI”跨越到“智能体(Agent)阶段”,即模型开始主动调用工具、规划多步任务并跨环境执行。这种高自主性带来了全新的攻击面:攻击者可以通过投毒记忆数据、劫持工具链、诱导多步失控等方式绕过原有安全护栏。此前的AI安全讨论多围绕模型内容合规(如防越狱),而此次论坛首次系统性地将智能体安全拆解为“风险治理、安全评测、红队攻防、安全护栏、AI原生安全基础设施”五个子方向。这意味着行业开始正视:没有安全的自主执行能力,智能体落地将面临不可控的法律与业务风险。同时,论坛汇聚了学界(安波、杨珉)、政策研究机构(安远AI)以及国际AI安全政策参与者(Stephen Casper为International AI Safety Report撰稿人),显示出中国在AI安全治理层面主动嵌入全球对话的意图。

对用户/开发者/创作者的影响

对使用智能体产品的普通用户而言,未来可能看到更透明的“可解释性”功能,比如系统会告知“为什么做出某个决策”或“允许用户暂停、覆写自主行为”。对开发者和企业技术决策者来说,智能体安全将在选型时成为硬门槛:是否支持“人类有效控制”、是否有健全的记忆与工具链审计机制,可能直接影响合规准入。对于AI安全从业者,论坛上来自安远AI的开幕致辞,以及MIT、新加坡国立大学的成果分享,提供了研究转化为工程实践的参考路线。此外,论坛本身也暗示了行业对“AI原生安全基础设施”的需求——即安全不是事后打补丁,而应像基础设施一样嵌入智能体底层架构。

值得关注的后续

第一,智能体安全评测标准是否会在会后发布。目前行业缺少统一的Agent红队测试框架,智源研究院如能牵头形成评测基准,可能影响后续企业采购标准。第二,大会是否会展示可商用的“AI安全基础设施”产品或开源工具,这直接关乎中小开发者能否低成本接入安全能力。第三,Toby Walsh等学者对“人类对自主系统的有效控制”的治理建议,是否会被中国相关政策制定机构采纳,进而影响智能体产品的监管落地节奏。

来源:Readhub · AI

celebrityanime
celebrityanime
文章: 6845

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注