上海 AI 应用乱象整治首阶段收官：处置违规账号 1.8 万余个，下架智能体 1.4 万余个

一句话看懂：上海市委网信办宣布，针对 AI 应用乱象的专项整治首阶段结束，累计下架 1.4 万个违规智能体、处置 1.8 万个账号，清理 487 万条违规信息。这是中国首个针对 AI 应用全链条（模型、智能体、开源社区、应用商店）的大规模政府监管行动，释放出明确的合规信号，直接关系到大模型备案、AI 内容标识、未成年人保护等具体实践。

事件核心：发生了什么

根据上海市委网信办今日公告，自 2026 年 4 月下旬启动的“清朗·整治 AI 应用乱象”专项行动首阶段已收尾。行动聚焦七类问题：未履行大模型备案登记、安全审核不足、训练语料安全、数据投毒、生成合成内容标识不到位、滥用 AI 开展违法违规活动、开源模型安全管理不到位。在具体执行层面，上海市委网信办指导稀宇、千问、小红书、哔哩哔哩、拼多多、魔搭社区等 17 家重点平台进行自查自纠。

关键成果数据包括：累计清理拦截去 AI 标识工具教程、数据投毒、未经授权换脸拟声、AI 制谣传谣、AI 低俗内容等违法违规信息 487 万余条；处置违规账号 1.8 万余个；下架违规智能体 1.4 万余个；处置违规商品 1300 余个。平台动作各有侧重：稀宇持续下架“一键脱衣”、赌球博彩等违规智能体，打击利用 AI 编写病毒、钓鱼软件行为；小红书打击 AI 托管运营账号，禁售去 AI 标识商品，推进与各大制作平台的隐式标识互认；哔哩哔哩强制要求创作者在发布时勾选“AI 生成”标签；魔搭社区清理低俗数据集，强化开源模型审核。此外，上海已完成 169 款大模型备案，以及 183 款调用已备案模型 API 的生成式 AI 应用登记。

为什么重要

这一轮整治标志着中国 AI 监管从“模型备案”阶段深入到了“应用落地与生态治理”阶段。此前监管重点多集中在基础大模型的训练与输出安全，而本次行动明确将智能体（AI Agent）、AI 生成内容标识、开源模型、甚至电商平台销售的“去 AI 标识”工具纳入了执法范围。稀宇、千问、小红书、B 站等主流应用和平台被统一要求自查，意味着任何提供 AI 能力或托管 AI 内容的平台都需配备对应的审核与标识能力。对于整个行业而言，合规成本将显著上升，尤其是在生成内容标识、未成年人身份核验、智能体内容审核等环节。同时，上海在推进《人工智能拟人化互动服务管理暂行办法》7 月 15 日施行前的准备工作，也表明针对 AI 拟人化服务（如情感陪伴类智能体）的专门监管正在落地。

对用户/开发者/创作者的影响

普通用户： 直接体验上，大量低俗、赌博、仿冒类 AI 智能体被下架，使用 AI 内容消费时的“踩坑”风险降低。但部分依赖第三方开源模型或社区智能体的用户，可能会发现可用服务减少。用户对涉及“换脸”、“拟声”等生成内容，应更注意查看是否带有 AI 标识。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

AI 应用开发者： 必须尽快落实三项合规工作：一是确保调用的基础模型已完成备案或登记；二是在生成内容（文本、图像、音频、视频）中嵌入显式与隐式 AI 标识，且标识不可被用户端简单去除；三是对智能体功能进行安全审核尤其是禁止一键脱衣、赌博、钓鱼软件等恶意用例。个人开发者或小型团队若无法承担审核成本，可能被迫转向大平台托管或放弃部分高风险场景。

内容创作者： 在 B 站等平台发布 AI 生成内容时，必须强制标注“AI 生成”标签；在电商平台销售 AI 相关商品（包括去标识教程、工具）可能面临下架或封号风险。对企业创作者而言，使用 AI 做策划、脚本辅助等常规流程不受影响，但公开传播环节需留意平台标识规则。

值得关注的后续

1. 专项行动第二阶段将聚焦“数字泔水”与“网络水军”： 公告已预告将重点治理利用 AI 生成虚假信息、暴力低俗内容、仿冒他人、网络水军等行为。这很可能影响利用 AI 自动生成评论、刷量、制造虚假舆情的工具与账号。

2. 《人工智能拟人化互动服务管理暂行办法》将于 7 月 15 日施行： 这是国内首个针对 AI 拟人化服务（如虚拟恋人、AI 顾问）的专门法规，情感陪伴类智能体、语音对话机器人等产品将面临更严格的身份核验、消费限制和内容审查。企业若未能在该日前完成合规改造，可能面临监管执法。

3. 全国性监管模式或参考上海经验： 上海此次行动覆盖了模型备案、智能体管理、开源社区、电商平台等全链条，且采取平台自查+专业机构测评+现场检查的组合手段，可能成为全国其他省市网信办后续整治的参考模板。建议多平台运营的开发者提前对照上海标准进行合规自查，而不仅限于在上海运营。

来源：Readhub · AI