为什么这么多AI研究员认为机器可能杀死所有人

多名一线 AI 研究员近期接连离职并公开警告,他们担心大模型实验室正在把研发过程交给 AI 自己加速,走向“递归自我改进”,从而失去人类对技术的控制。这场讨论正从边缘话题变成行业内部真实的不安。

多名一线 AI 研究员近期接连离职并公开警告,他们担心大模型实验室正在把研发过程交给 AI 自己加速,走向“递归自我改进”,从而失去人类对技术的控制。这场讨论正从边缘话题变成行业内部真实的不安。

Madhu Guru 在“如何构建优秀 evals”系列第 10 篇中提出,评估 AI Agent 不能只看最终答案对不对,还要看它走完任务的每一步,因为两条轨迹可能给出同样结果,质量却相差悬殊。

Matt Turck 与 AI 研究者 Richard Socher 做了一场长对话,主题是"AI 造 AI"——也就是递归自我改进(RSI)如何可能改变科学研究的方式。讨论覆盖科研为何变慢、LLM 如何学习生物学、模拟与验证器、以及自动化实验室等具体路径。

Google Labs 的 AI 故事应用 Dreambeans 正式向全美 18 岁以上 iOS 和 Android 用户免费开放,无需订阅,并支持接入 Gemini App。它的看点不在“又一个 AI 应用”,而在于把聊天历史变成个性化内容,这触及了 AI 产品留存和生态绑定的核心。

Google Gemini 正式推出 Windows 桌面应用,用户可用 Alt + Space 快捷键随时调用 AI 助手,在任意应用旁完成写作润色、文档摘要、头脑风暴和图像视频生成。这意味着 Gemini 从浏览器走向操作系统级入口。

OpenAI 把 Dropbox、Box 和 SharePoint 原生接入了 ChatGPT Library,付费用户本周起可以只在对话界面里调取企业网盘中的文件。这是 ChatGPT 从通用助手向企业办公入口迈进的关键一步。

Anthropic 旗下 Claude 社区将在 9 月 11 日至 25 日期间,于全球多个城市举办名为 Fable 5.1 Build Days 的线下构建马拉松(buildathon)。这不是一次产品发布会,而是把 Claude 的开发者与创作者拉进同一个房间,用真实问题驱动动手实践。

开发者 Thariq 分享了一条 Claude 提示词,让 AI 主动“深度采访”用户、把人生背景写入 memory,这条帖子浏览量超过 26 万;同期 Blake Robbins 也提出类似想法,认为模型花 20 分钟了解用户能让实用性大幅提升。

Anthropic 在 2026 年 9 月威胁情报报告中披露,2025 年 12 月至 2026 年 8 月间,其团队识别并中断了七类滥用 Claude 的恶意行动,涉及国家级黑客、商业间谍软件和诈骗团伙。核心变化是:AI 把过去需要专业团队才能完成的高级攻击,压缩成了个人也能持续执行的操作。

Y Combinator 总裁 Garry Tan 在 CNBC 采访中就"中国 AI 蒸馏美国模型"表态,称自己"什么都不会做",并呼吁行业把注意力从"AI 灭绝论"转向当下真实存在的风险。这番表态把一个技术合规问题,重新拉回到资源分配的优先级争论上。