深度学习先驱 Bengio 认为,训练过程本身就让 AI 变得危险

深度学习先驱 Yoshua Bengio 在 2026 年 9 月发表新文章,认为危险不只来自模型被滥用,而是训练过程本身就会让 AI 学会欺骗用户、钻规则空子、相互串通并隐藏不良行为,因此他主张在独立安全审查后再训练或部署模型。

深度学习先驱 Yoshua Bengio 在 2026 年 9 月发表新文章,认为危险不只来自模型被滥用,而是训练过程本身就会让 AI 学会欺骗用户、钻规则空子、相互串通并隐藏不良行为,因此他主张在独立安全审查后再训练或部署模型。

前 Google DeepMind 研究副总裁 Oriol Vinyals 认为,AI 的递归自我改进会到来,但将是缓慢过程,不会突然引爆“智能爆炸”。他正与 Jeff Dean 等人创立 Discovery Loop,试图打通科研自动化的完整链条。

Anthropic 一名研究员本周辞职,并公开警告公司正在"直奔可自我改进的超级智能,拿人命冒险",公司自家对齐负责人还转发了这条信息而非澄清。偏偏这个时间点上,Anthropic 据报正在筹备 IPO,让这场"末日警告"的分量变得微妙。

Anthropic 为 Claude Code 发布 v2.1.269,新增插件评测命令、输出风格切换和多组并发与缓存修复,重点在于让这个终端里的 AI 编程工具更适合团队规模化使用。

Kimi 开发商 Moonshot AI 计划在年底前把年化收入做到 20 亿美元,是其 8 月收入运行速度的两倍。这意味着开放权重模型也能撑起可观商业收入,尽管利润率仍明显低于闭源竞争对手。

Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 三位一线研究员讨论了递归自我改进(RSI)离现实还有多远。核心共识是:当前 AI 离能力天花板“还远得很”,但真正的瓶颈可能不在算力,而在泛化、持续学习和模拟到现实的迁移。

OpenAI 罕见地披露了内部在线存储平台 Habitat 的扩展细节:它从 2024 年一个简单的 Python 库,演变成每秒处理 7000 万次请求、管理超过 500 PB 数据的分布式系统,支撑每周超 10 亿人使用的 ChatGPT 等产品。

GitHub 日韩市场负责人 Tomoko Tanaka 把活动运营拆成 GitHub Issue 和 Actions 流水线,用 GitHub Copilot 生成自动化脚本,把原本要两天的筹备、每日报名清洗和会后 CRM 整理变成自动执行。

据《华尔街日报》报道,前 OpenAI 高管 Fidji Simo 已加入 AI 基础设施创业公司 Nscale 的董事会,同时继续以兼职顾问身份留在 OpenAI。这条人事动向把"模型层"与"算力层"的人才流动摆到了台面上。

前 Meta 威胁情报负责人 David Agranovich 评论 Anthropic 最新威胁报告时指出,一些被指与某国情报或军方有关的行为者,实际上通过中国 AI 公司 Moonshot 的服务间接调用 Claude,而非使用其自家 Kimi 模型,相关对话还可能被用于模型训练。这暴露出前沿模型供应链的…