一句话看懂:由于缺少“noindex”标签,大量Anthropic Claude用户的共享聊天记录被Google和Bing等搜索引擎抓取并公开索引,其中包含政治咨询、法律建议乃至私密角色扮演内容。这一事件暴露了AI聊天工具在数据隐私控制上的漏洞,也提醒所有平台:单纯依赖robots.txt不足以阻止公开页面被搜索引擎收录。
事件核心:发生了什么
5月19日前后,有Reddit用户发现,通过Google和Bing搜索site:claude.ai/share可以找到大量Claude用户主动分享的聊天对话链接。这些对话原本被创作者设为“公开分享”并生成固定URL,但Anthropic仅在robots.txt文件中声明禁止搜索引擎爬取该路径,而没有在每张分享页面的HTML头部添加“noindex”标签,也未设置x-robots-tag响应头。Google和Bing的技术文档均明确表示,robots.txt仅用于控制爬取行为,若页面被其他网站引用,搜索引擎仍可能索引,此时必须靠页面本身的“noindex”指令阻止索引。WIRED抽查了部分被暴露的页面,确认它们均未包含“noindex”标签。截至发稿,Bing仍显示约612条结果;Google已不再显示相关链接,但页面依然缺少“noindex”标签,可能再次被索引。
为什么重要
这不是Anthropic第一次因共享聊天记录隐私问题引发争议——2024年9月Forbes就报道过类似情况,当时Anthropic仅以robots.txt作为防护手段。本次事件暴露了AI公司对现代搜索引擎工作机制的认知滞后:robots.txt是“爬取控制”而非“索引控制”,两者需要配合使用。对用户而言,任何“公开分享”的功能都等于在互联网上发布一段内容,平台有责任默认采用最严格的隐私保护措施。对行业而言,这起事件进一步打击了用户对AI聊天产品数据安全的信任——尤其是当聊天内容包含政治倾向、医疗或法律建议等敏感信息时。同时,它也揭示了搜索引擎在“公开URL vs 隐私预期”之间的灰色地带:即便平台声明禁止爬取,如果第三方网站主动链接了该URL,搜索引擎仍可能将其纳入索引。
对用户/开发者/创作者的影响
普通Claude用户:立即检查Settings > Privacy > Shared chats,删除或更改为不公开的分享链接。不要认为“共享后只有收到链接的人能看到”——只要链接是公开的,就有可能被搜索引擎收录。
使用ChatGPT、Gemini等类似工具的开发者与创作者:如果你的产品允许用户生成公开分享链接,必须在应用层强制要求每个页面输出“noindex”标签,并在响应头中添加X-Robots-Tag: noindex。仅靠robots.txt不足以阻止索引,尤其是当用户自行将链接发布到社交媒体时。
内容创作者与AI应用企业:重新评估所有“公开分享”功能的数据风险,尤其涉及隐私政策合规(如GDPR、CCPA)。建议在用户点击“分享”时明确提示“此链接可能被搜索引擎索引”,并提供一键撤销或设置过期时间的选项。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
1. Anthropic是否会为所有历史分享页面批量添加“noindex”标签?目前WIRED抽查的页面仍未添加,若不做修改,谷歌和必应可能重新索引。
2. 搜索引擎是否会主动清理这类未经正确指令控制的URL?Google和Bing通常依赖网站所有者的指令,但如果遭到大量投诉,可能采取手动屏蔽措施。
3. 这一事件是否会推动AI聊天工具行业统一“公开分享”的隐私标准?例如强制使用短时效链接、默认关闭“可被搜索引擎发现”的选项。
来源:Wired AI


