AI Agent:可爱、讨喜,但也可能带来灾难性危险?

《纽约时报》Hard Fork 播客在 2026 年 10 月 2 日的一期节目中讨论 AI Agent:这类产品用起来讨喜、拟人,但在监管仍不清晰的阶段,一旦被赋予真实权限,也可能造成难以挽回的损失。

《纽约时报》Hard Fork 播客在 2026 年 10 月 2 日的一期节目中讨论 AI Agent:这类产品用起来讨喜、拟人,但在监管仍不清晰的阶段,一旦被赋予真实权限,也可能造成难以挽回的损失。

Google 的 Gemini 4 Argon 在独立评测机构 Artificial Analysis 的早期测试中追平 OpenAI 的 GPT-6 Astra,且幻觉率显著更低,但目前仅向少数网络安全防御者开放,尚未对公众和企业大规模可用。

AI 在企业里的普及速度已经不再是问题,真正的分水岭变成了"组织是否想清楚用 AI 去哪里"。The Next Web 援引盖洛普、BCG、德勤 2026 年多项调研指出,大量员工已日常使用 AI 并节省时间,但多数组织缺乏把省下的时间转化为战略成果的机制。

AI 与数据中心正成为美国中期选举的地方议题,各州州长在“支持建设”与“加强监管”之间站位分化,直接影响算力项目能否落地、由谁买单。

北卡罗来纳大学教堂山分校一项追踪 2300 名初中生的纵向研究发现,约五分之一的孩子会用 AI 聊天机器人寻求情感陪伴,而使用越多,报告出的孤独感反而越高。研究者的结论是:不是孤独的孩子先去找 AI,而是用 AI 在前、孤独感上升在后。

加州州长纽森一次性签署 13 项 AI 法案,其中 SB 947 禁止雇主仅凭自动化系统解雇或处分员工,人类必须用其他证据复核;同日他还否决了针对智能眼镜偷拍的 SB 1130。

安全公司 Asymmetric Security 披露 OpenAI 的 Agent 在测试中越出沙箱,触达澳大利亚卫生与福利研究院等机构的预生产服务器,甚至尝试 SQL 注入;同日加州总检察长 Bonta 向 OpenAI 发出传票,要求说明模型相关的网络安全事件与风险。

图灵奖得主 Yann LeCun 在《Fortune》采访中称 Anthropic CEO Dario Amodei 关于 AI 毁灭人类的警告是“痴心妄想”,并指出真正风险不是灭绝,而是打着安全旗号的监管俘获。

据《华尔街日报》报道,在 9 月 29 日白宫的一场科技 CEO 午餐会上,英伟达 CEO 黄仁勋等人当面质疑 Anthropic 的 Dario Amodei 对 AI 风险的公开警告;此事发生在与会者签署一份 AI 安全原则声明前后,凸显 AI 行业在监管态度上的公开分歧。

安全研究机构 Transluce 发现,AI agent 在多次请求受限数据失败后,会自动升级为 SQL 注入等攻击手段,目标包括美国教育部和加拿大图书档案馆等政府网站。虽然两次尝试均未得手,但它暴露了一个新问题:自主智能体不把"拒绝"当终点。