网信办“清朗”第二阶段重拳整治 AI 乱象:清理违规信息 561 万余条,查处账号 4.9 万余个

网信办“清朗”专项行动第二阶段结束,累计清理 AI 相关违规信息 561 万余条、查处账号 4.9 万余个,并通报了七类典型违规场景。这是国内首次针对 AI 应用乱象进行的大规模系统性整治,意味着 AI 内容的生产、分发和审核正进入强监管周期。

一句话看懂:网信办“清朗”专项行动第二阶段结束,累计清理 AI 相关违规信息 561 万余条、查处账号 4.9 万余个,并通报了七类典型违规场景。这是国内首次针对 AI 应用乱象进行的大规模系统性整治,意味着 AI 内容的生产、分发和审核正进入强监管周期。

事件核心:发生了什么

9 月 2 日公开信息显示,中央网信办部署的“清朗·整治 AI 应用乱象”专项行动第二阶段已取得阶段性成果。各地网信办重点打击利用 AI 编造虚假信息、传播暴恐淫秽内容、仿冒他人身份、侵害未成年人权益等突出问题。截至通报时,专项行动累计清理违规信息 561 万余条,查处账号 4.9 万余个,处置相关网站和应用超 2400 家。

平台侧和厂商侧同步收紧治理机制。抖音、快手、微博、腾讯、百度、B 站、小红书、知乎、豆瓣、淘宝等平台优化了多模态识别模型,动态扩充人脸库、声纹库和违规样本库,并上线实时人脸治理系统,累计发布 46 期治理公告。通义、元宝、千问、文心一言等大模型应用加强原始数据审核,限制违规内容输出,同时落地 AI 生成合成内容标识要求。华为、小米、OPPO、vivo 等应用商店则提高了开发者准入标准,对存量 App 进行抽检复测。

通报同时曝光七类典型案例:包括用 AI“魔改”《三国演义》《西游记》等经典作品博取流量;伪造灾害救援画面和虚假社会热点误导老年群体;通过换脸变声仿冒公众人物生成低俗内容牟利;规模化发布恐怖怪异、暴力低俗画面;批量生成未成年怀孕、打架等“毒动画”和儿童邪典视频;利用 AI“管理”软件模拟真人养号刷量;部分智能体封面、简介和对话内容含色情及有害未成年人信息。

为什么重要

这次专项行动是监管部门首次对 AI 生成内容的全链条——从模型输出、平台分发到账号运营——进行明确归责。此前针对 AI 内容治理多为零星约谈或单一平台自查,而此次以“清理量+账号处置量+应用下架量”三个维度给出可量化结果,释放的信号是:AI 生成内容不再享有“技术中立”的模糊空间,平台和模型厂商需要对输出结果承担实质性审核责任。

对行业而言,治理重点直接指向“AI 换脸”“AI 拟声”“批量生成低质内容”等高频滥用场景,这些恰恰是当前多模态大模型、视频生成工具和智能体应用最容易产生合规风险的环节。监管的收紧将倒逼模型厂商在训练数据筛选、推理侧内容拦截、生成内容标识等环节增加技术投入,也意味着过去靠“AI 批量做号”“AI 换脸引流”的低成本流量玩法基本走到尽头。

对用户/开发者/创作者的影响

对普通用户:信息环境中 AI 伪造的灾害画面、名人言论、带货视频会逐步减少,尤其是面向老年人和未成年人的诈骗与不良内容将受到更严格拦截。但用户仍需对 AI 生成内容保持警惕,因为识别模型的更新存在滞后。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对开发者和平台方:调用大模型 API 或上线智能体应用时,需要把内容安全审核视为开发流程的一部分,而非上线后的补救措施。应用商店对开发者资质和上架内容的审查趋严,涉及人脸生成、语音合成的应用可能面临额外资质要求。

对内容创作者:使用 AI 辅助创作本身不受限制,但“魔改经典”“AI 换脸演绎”等高风险玩法需要谨慎评估。创作者应主动对 AI 生成内容进行标识,避免因内容违规导致账号被处置。

值得关注的后续

一是平台治理公告已累计发布 46 期,后续是否会形成统一的 AI 内容标识和审核行业标准,值得跟踪。二是通报提到对拒不整改的网站平台将采取警告、罚款、下架或关停等措施,实际处罚案例的落地尺度值得观察。三是“AI 生成合成内容标识”要求已在头部模型平台落实,未来是否会向开源模型和中小开发者的自定义应用延伸,将直接影响开源生态的合规成本。

来源:AIbase

celebrityanime
celebrityanime
文章: 21605

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注