
一句话看懂:Anthropic 为其对话模型 Claude 引入了一个前置分类器,试图在用户请求进入模型之前就判断是否为“生物学”相关高风险内容。然而实际使用中,这个分类器极度敏感,连“问几个动物学冷知识”这样的无害请求都被降级处理,导致用户反复被踢到一个更弱的模型,引发了社区对过度安全的普遍不满。
事件核心:发生了什么
该争议由 Hacker News 上的用户报告引发。用户在 Anthropic 的“Fable”项目(一个实验性代码助手)中,让助手帮忙写一个计算临床试验统计的应用。尽管这个请求与生物学的关联极其间接和微弱(仅涉及临床试验),前置分类器仍判定为“生物相关”,然后将请求传递到了更便宜的 Opus 模型,而非使用更先进的默认模型。
更离谱的是,其他用户的测试显示:询问“我们对美洲鳗和欧洲鳗都产卵于马尾藻海有多大信心?”、“出一个动物学冷知识问答”、“你最喜欢的肉鳍鱼是什么?”,甚至只输入“植物”一词,都能触发降级。一位用户提到,其妻子只是在用户偏好里设置了“动物学相关”的兴趣,结果遇到“植物”一词也会被降级。Hacker News 讨论中,有人质疑:“这是大炮打蚊子,还是管理层的胡乱拍脑袋?”
为什么重要
这件事反映出一个日益严峻的问题:AI 安全措施正在从“拒绝有害内容”演变为“拒绝一切模糊相关”。Anthropic 这个分类器(置于模型之前的过滤器)试图在推理前就拦截所有可能涉及生物安全的对话,但它的误报率极高,以至于把正常的学术和娱乐对话也纳入了风控范围。这不仅伤害了用户体验,更实际削弱了 Claude 在科研、教育等领域的实用价值。
从行业角度看,这显示了当前 AI 安全实践的局限性——过度依赖规则和简单分类器,而非精细的上下文理解。Anthropic 自称主张“负责任的 AI”,但在防风险与可用性之间的平衡显然还没有找到。对手 OpenAI 和 Google 也面临类似压力,但 Anthropic 这次的做法尤其粗暴——连“肉鳍鱼”这种冷门话题都被标记为生物风险,说明分类器缺乏对“科研自由”与“生物双用”之间差异的基本判断力。
对用户/开发者/创作者的影响
对普通用户:如果你在 Claude 上提问任何与生物、医学、动物学、植物学沾边的内容——哪怕是中学生的课外作业——都可能被前置分类器拦截,导致你得到的回复质量差、模型弱。如果问题恰好超过免费额度或慢模型能力,还可能导致超时或答非所问。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
对开发者/创作者:如果你正在基于 Anthropic API 构建教育问答、医学内容生成、科普写作等应用,这个分类器会严重损害你的产品体验。你的用户可能在调用正常生物学知识时反复被“降级”到弱模型,而你连错误日志里都看不出原因——因为分类器在 API 层面的行为不透明。这可能导致开发者转向 OpenAI 或本地开源模型。
对企业采购:如果贵司考虑采购 Claude 用于研发部门的辅助(比如生物医药 R&D),必须提前了解这些分类策略是否会干扰日常的科研和数据分析工作。目前看来,只要涉及生物相关关键词,误报概率极高。
值得关注的后续
第一,Anthropic 是否会对这个分类器的灵敏度进行调整。目前社区反馈负面,预计会在数周内看到 Anthropic 官方声明或低调更新。
第二,用户会不会因此主动寻找绕过方法——例如用纯英文改写、避免生物词汇。但这种猫鼠游戏对 Anthropic 的声誉和产品定位都是一种透支。
第三,分类器的判断逻辑是否会开源或更透明?目前 Anthropic 并未解释分类规则是如何训练或编写的。如果这个分类器是基于固定词表或简单向量匹配,那么它的局限性会被更多用户发现,并可能触发监管对“安全审查透明性”的关注。
来源:hackernews


