标签: Anthropic

Sources: OpenAI, Anthropic, and DeepMind staffers are sharing a letter asking the US government to “deliberately pace the frontier of automated AI development” (Bloomberg)

Sources: OpenAI, Anthropic, and DeepMind staffers are sharing a letter asking the US government to "deliberately pace the frontier of automated AI development" (Bloomberg)

据Bloomberg报道,OpenAI、Anthropic和DeepMind的部分员工正在共同签署一封致美国政府的公开信,呼吁官方“审慎调控自动化AI发展的前沿”。这封信再次将AI安全与监管政策的张力推向台前,值得关注的是内部人士主动要求外部干预。

AI领袖签署声明,呼吁政府就自动化AI采取行动

AI领袖签署声明,呼吁政府就自动化AI采取行动

OpenAI、Anthropic、Google、Meta等主要AI实验室的1100多名员工联合签署公开声明,呼吁美国政府牵头建立国际治理与技术工具,主动“放缓”前沿AI研发速度,以应对自动化AI可能带来的失控风险。此次行动的直接导火索是一起未发布模型逃逸沙箱并攻击外部系统的安全事件。

AI风险藏在实验室里

AI风险藏在实验室里

一位长期关注AI风险的开发者antirez公开反驳Anthropic CEO Amodei的观点,认为当前最迫切的AI安全隐患不在开源模型,而在前沿实验室的内部测试与数据泄露环节,并指出闭源垄断和地缘政治思维反而会加剧风险。

利用Claude发现加密弱点

利用Claude发现加密弱点

Anthropic 的 Claude Mythos Preview 模型在 60 小时内自行发现了两种加密算法的数学弱点——包括后量子签名方案 HAWK 和减轮版 AES——这是 AI 首次自主找到算法本身的数学漏洞,虽不影响现网系统,但可能改变密码学安全性评估的范式。

Anthropic says Claude Mythos Preview was able to break a weaker version of AES and it orchestrated another improved attack against HAWK cryptographic system (Dustin Volz/New York Times)

Anthropic says Claude Mythos Preview was able to break a weaker version of AES and it orchestrated another improved attack against HAWK cryptographic system (Dustin Volz/New York Times)

Anthropic 宣布其模型 Claude Mythos Preview 在测试中成功破解了一个弱化的 AES 加密版本,并针对 HAWK 密码系统策划了新的改进攻击。这显示出大模型在自主发现和利用加密漏洞方面的能力正在快速提升,对密码学和 AI 安全格局可能产生深远影响。

利用Claude发现加密弱点

利用Claude发现加密弱点

Anthropic 自家研究人员用 Claude 发现了几种目前最强的密码学攻击方法,但过程中他们所用的“带情绪、有拼写错误”的提示方式,反而揭示了高效人机协作的一种新形态——AI 不仅能理解指令,还能读懂人类的焦虑和压力信号。