为什么科技公司难以约束 AI

《纽约时报》2026年9月12日刊文讨论科技公司为何难以约束自家 AI 的行为边界,指向一个结构性难题:模型能力越强、接入场景越多,企业越难在开放使用与风险控制之间取得平衡。这关系到每个用 API 做产品的团队,也关系到普通用户看到的 AI 输出是否可靠。

《纽约时报》2026年9月12日刊文讨论科技公司为何难以约束自家 AI 的行为边界,指向一个结构性难题:模型能力越强、接入场景越多,企业越难在开放使用与风险控制之间取得平衡。这关系到每个用 API 做产品的团队,也关系到普通用户看到的 AI 输出是否可靠。

据 New York Times 报道,多家头部 AI 公司内部一直在讨论"超级智能失控"这一极端风险,相关讨论并不只停留在公开声明层面,而是进入了产品发布节奏和技术路线的实际决策。这值得关注,因为它揭示了一个矛盾:一边加速训练更大模型,一边研究自己造出来的东西可能带来的灾难。

Business Insider 一名记者在 2026 年 5 月至 9 月间,用 ChatGPT Codex 训练出上司 Ryan Kailath 的 AI 分身“RyanBot”,并把它当作“影子老板”测试了 4 个月。结果发现:AI 能快速处理数据报告,却无法替代管理者说“不”、给出真实判断和承担责任的…

一位开发者就 AI 生成低质代码(AI slop)问题给 Claude Code 创造者 Boris Cherny 发邮件,Cherny 在 X 上公开回信,明确划出两套标准:一次性原型可以当黑盒不管,生产代码的标准反而要比人写的更高。

OpenAI 用数万智能体宣称破解 90 年悬而未决的数学难题,Anthropic 的 Claude 也完成费马大定理的形式化证明,AI 正加速数学突破,但署名争议和数学家的焦虑随之浮现。

Anthropic 研究员 Jacob Coxon 于 9 月 8 日公开辞职,警告头部 AI 公司正“竞速冲向自我改进的超级智能”,该帖获得约 1.5 亿次浏览,把 AI 灭绝风险从硅谷小众议题推成主流恐慌。真正值得关注的不是恐慌本身,而是政府目前拿不出与技术风险规模匹配的应对方案。

据 Bloomberg 报道,Sam Altman 在一次面向员工的内部沟通中表示,OpenAI 对“放缓 AI 发展节奏”持开放态度。这一表态出现在行业普遍加速训练大模型、扩张算力的背景下,因此被外界视为值得留意的信号。

Android Police 作者 Parth Shah 在 2026 年 9 月的一篇体验文章中表示,Google 在 Keep Notes 上叠加的对话式 Gemini 层 Keep Live,能把随口说出的杂乱想法自动整理成结构化笔记和清单,这让他大幅减少了手动打开 Keep 编辑器的次数。

9 月 12 日,2026 Inclusion·外滩大会开发者日在上海举行,30 余场开放麦、20 个开源市集展位和百余项 CodeLab 任务,把 Builder 们的 AI 产品从“做出来”推进到“卖出去、被用上”。

OpenAI 开发者 Eric Provencher 建议,切换到 GPT-6 Astra 时应精简技能描述、按需读取文档、放宽过严的审批规则,因为更强的模型需要更少“手把手”指令,过度约束反而会拖累表现。