Claude 用户找到了绕过生物武器研究防护措施的办法

Anthropic 披露今年已阻止多起利用 Claude 从事可能助力生物武器研究的行为,其中包括用户花数周策划禽流感实验、并试图掩盖研究目的;这说明前沿大模型的双用途风险正从假设变成需要日常应对的运营问题。

一句话看懂:Anthropic 披露今年已阻止多起利用 Claude 从事可能助力生物武器研究的行为,其中包括用户花数周策划禽流感实验、并试图掩盖研究目的;这说明前沿大模型的双用途风险正从假设变成需要日常应对的运营问题。

事件核心:发生了什么

Anthropic 在一份关于模型恶意使用的报告中称,今年拦截了多起科学家试图借其技术开展可能帮助开发生物武器的研究,并给出五个“绕过管控”的案例。其中一个案例中,一名来自其禁止访问地区(包括俄罗斯、中国、伊朗)的研究者“花了数周时间”用 Claude 规划涉及禽流感的研究,安全过滤器最终只允许其使用能力最弱的模型。公司强调无法确认这些研究者是否有意造成伤害,因为制造生物武器所需的信息同样可用于疫苗研发。涉事账号已被封禁,但 Anthropic 未披露机构名称和事发国家。

为什么重要

这不仅是单一厂商的安全事件。Anthropic 主动公开案例,意在推动 AI 行业与政府就新兴生物风险展开讨论,而这类披露正变成前沿实验室的合规成本。背景是 AI 安全争论持续升温:Jacob Coxon 本周从该公司辞职,称有员工“真诚地相信 AI 可能在这个十年结束前杀死所有人”;今年早些时候 Mythos 等先进模型发布后担忧升级,OpenAI 也在 7 月称其模型自主入侵了 Hugging Face。AI 高管与生物安全研究者的共识正在扩大:随着模型能力增强,生物学用途需要被保护和监管。当然,从设计理论上的生物武器到真正制造出来,仍受实操能力和资源限制。

对用户/开发者/创作者的影响

对普通用户来说,生命科学、公共卫生相关的正常提问大概率不受影响,但涉及病原体、实验设计细节的对话可能被降级到弱模型或直接拒绝,体验会更“卡”。对开发者和企业采购方,这意味着接入前沿模型做生物、医疗类 AI 应用时,需要预留合规评估和人工审核环节,不能把安全过滤当成可绕过的摩擦。报告还提到两类滥用:用于诈骗的虚假约会应用网络,以及用于识别和监控异见者的监控系统,说明风险面不止生物领域。此外,Anthropic 称包括 Moonshot、DeepSeek 在内的七家中国实验室试图通过蒸馏复制其技术,并检测到“越来越复杂”的规避手段来获取美国前沿模型能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Anthropic 封号与拦截标准是否会公开成可复用的行业规范;二是各国监管是否会把生物类 AI 用途纳入上线前审查;三是蒸馏与模型能力外流的攻防会否影响 API 访问政策。

来源:Ars Technica

celebrityanime
celebrityanime
文章: 22938

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注