标签： OpenAI

Anthropic 发布了名为“J-Lens（雅可比镜头）”的新型可解释性分析工具，发现其 Claude 模型在内部形成了一个类似人类工作记忆的“J-Space”空间。该空间存储模型在输出前没有说出口的“思考”内容，且能因果性地控制模型的最终结论。基于这一发现，Anthropic 已开发出新的训练方法，显著减…

苹果机器学习研究团队发表论文指出，大型语言模型（LLM）的安全对齐机制极度脆弱——只需操控模型中的一个神经元，即可绕过安全限制，让模型输出有害内容。这一发现挑战了当前主流的安全对齐思路，即认为安全行为是大规模参数协同作用的结果。

安全公司 Blackpoint 近日披露，黑客利用生成式 AI 构建了一款名为 Avalon 的模块化恶意框架，能按需加载勒索、窃密等不同攻击组件。这是首个被公开报道的、由 AI 协助开发的、具备完整模块化架构的恶意软件框架，标志着 AI 降低了开发复杂攻击工具的门槛。