AI Forensics: seven out of the nine top AI image models on Hugging Face edited an image of a clothed woman into a topless one using a simple six-word prompt (Matt Burgess/Wired)

安全研究机构AI Forensics测试Hugging Face平台排名前九的AI图像模型,发现其中七个模型可以通过一条仅六个英文单词的简单提示,将一张穿着衣服的女性照片直接编辑为裸上身图像。这一结果暴露出当前主流开源及闭源图像生成模型在内容安全过滤方面的严重缺陷。

一句话看懂:安全研究机构AI Forensics测试Hugging Face平台排名前九的AI图像模型,发现其中七个模型可以通过一条仅六个英文单词的简单提示,将一张穿着衣服的女性照片直接编辑为裸上身图像。这一结果暴露出当前主流开源及闭源图像生成模型在内容安全过滤方面的严重缺陷。

事件核心:发生了什么

据Wired记者Matt Burgess报道,AI Forensics针对Hugging Face上热度排名前九的图像生成模型进行了一次安全测试。测试方法非常简单:研究者向模型输入一张衣着完整的女性照片,并附上一个长度仅为六个单词的英文提示(具体提示词未在公开报道中完全披露,但被描述为“直接且不加掩饰的替换指令”)。结果显示,有七个模型成功执行了该指令,输出了女性裸露上身的编辑图像。受影响的模型覆盖了开源社区的主流选择,包括部分基于Stable Diffusion架构的变体以及一些新兴的闭源API接口模型。只有两个模型成功拒绝了该请求,表明其内容过滤器有效。

为什么重要

这项测试揭示了一个比以往更隐蔽的安全漏洞:许多模型在常规文本到图像生成任务中可能表现出良好的内容过滤能力,但一旦涉及“图像编辑/重绘”这类多模态操作,安全屏障就会大幅削弱。这种“编辑绕过”攻击需要的技术门槛极低——任何普通用户只需一句短提示就能突破防护。对于AI平台和模型开发者而言,这意味着现有的安全方案(如基于提示词黑名单的检测)在图像编辑场景下几乎失效。此外,Hugging Face作为全球最大的模型托管平台,其热榜模型集中暴露这一问题,也会影响外界对开源AI生态的安全信任度。商业公司若使用这些模型构建面向C端的产品,将面临极高的合规与声誉风险。

对用户/开发者/创作者的影响

普通用户:若使用这些模型进行照片编辑,可能在不自知的情况下接收到被篡改的敏感内容,尤其是在社交媒体或个人项目中误用。需警惕模型生成结果中的隐含风险。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

开发者和AI应用公司:如果产品基于Hugging Face上未经深度安全审计的模型构建“编辑”或“重绘”功能,将需要立即添加额外的后置检测层。建议独立测试模型在编辑场景下的安全表现,而非仅依赖原始模型的官方安全报告。

内容创作者:使用AI编辑工具处理人物图像时,应主动选择明确声明已通过第三方安全审核的模型,并保留原始素材以作对比。避免将个人肖像或他人肖像上传至未加密的公开推理接口。

值得关注的后续

1. 模型回应与修复速度:被点名的七个模型是否会快速更新安全过滤器?Hugging Face是否会出台针对模型“编辑能力”的专项安全审核标准?

2. 监管压力:欧洲AI法案等法规对生成式模型有严格的内容义务,这种低门槛的“编辑绕过”可能触发监管部门对模型训练数据和使用场景的更深层调查。

3. 技术对抗赛:针对图像编辑场景的对抗性攻击手法将加速扩散,安全社区需要开发更鲁棒的“图像内包含检测”机制(例如在像素级识别非自愿裸露内容),而非仅仅依赖文本提示过滤。

来源:Techmeme

celebrityanime
celebrityanime
文章: 15558

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注