
一句话看懂:一名外省女子为博取流量,利用AI工具生成“上海地铁站天花板大面积坍塌”的虚假视频并发布到微信视频号,最终因虚构事实扰乱公共秩序被警方依法行政拘留。此案是AI工具被用于制造恐慌性谣言的新案例,凸显了AI生成内容在传播环节的监管挑战与伦理风险。
事件核心:发生了什么
据上海地铁通报,6月17日,上海地铁18号线江浦路站换乘通道顶部一小块墙面涂料脱落,现场无人受伤,地铁工作人员已及时设置警示标志并完成初步处理。然而,外省女子孙某看到该消息后,为吸引流量,使用AI工具生成了一个完整虚假视频,内容为“上海地铁站内天花板大面积坍塌”,并将其发布至个人微信视频号。该视频迅速在社交平台传播,引发网友恐慌。经上海轨交警方与外省公安机关协作,孙某被抓获,目前已被依法处以行政拘留。警方指出,利用AI生成虚假文本、图片、音视频已成为网络谣言传播的新趋势,这类信息仿真度高、迷惑性强,公众需谨慎应对。
为什么重要
此案是AI图像/视频生成工具被用于低成本谣言制造的典型案例。与传统的P图或剪辑不同,AI生成工具(如开源图像模型、视频生成API等)可以在短时间内合成高逼真度的虚假画面,且操作门槛极低,任何人只需简单提示词即可完成“移花接木”。这对社交媒体平台的内容审核机制提出了更高要求——传统基于关键词或人工巡查的方式难以快速识别AI生成的视觉造假。同时,该事件也再次提醒行业:大模型能力越强,被滥用的风险越高,从模型层的安全过滤(如拒绝生成特定危险场景提示词)到发布侧的强实名制、内容溯源水印,都需要形成闭环。对于AI开发者和平台而言,如何平衡文生图的创作自由与防止恶意生成,已成为不可回避的合规课题。
对用户/开发者/创作者的影响
对于普通用户:需提高信息鉴别能力,尤其是看到突发的灾难性、恐慌性图像或视频时,应优先核查权威信源(如官方通报、地铁运营方公告),不盲目转发。目前已有部分AI生成内容可通过查看元数据或像素级痕迹区分,但多数用户仍缺乏判断工具。
对于AI应用开发者与平台方:此案直接指向AI生成内容的监管问责路径。开发者在推出文生图、视频生成类API或Web应用时,应主动加入“内容安全审核”模块,如对生成结果进行敏感场景(如交通事故、坍塌、爆炸等)识别并阻断,同时为生成内容添加不可篡改的“AI生成”水印;若放任用户恶意造谣,平台可能面临连带法律责任。对于内容创作者:需要明确法律红线:利用AI生成虚假信息以博取流量,同样可能构成虚构事实扰乱公共秩序,面临行政拘留甚至刑事责任。创作不应以误导公众为手段。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
目前公开信息显示,孙某使用的具体AI工具类型尚未披露,但执法部门已将其列为典型案件。后续值得关注的观察点包括:1)上海等地是否会进一步试点“AI生成内容强制标识”的地方法规或行业标准,如要求所有传播的AI视频附上数字水印;2)主流AI文生图、视频生成平台(如Midjourney、Stable Diffusion社区、Runway等)是否会参考此案,加强对于灾难、交通事故、公共安全等场景的提示词拒绝生成策略;3)社交平台有无计划上线“AI内容一键检测”功能,或提高视频类内容的发布门槛(如要求绑定真实身份、加原创声明等)。
来源:AIbase

![[Bug]: mmcv build failed with CUDA 12.8](https://www.chat-gpts.plus/wp-content/uploads/2026/06/4088-12e7b99e-768x403.jpg)
