一句话看懂：一项调查发现，许多声称禁止AI训练爬虫抓取数据的网站，在实际设置中并未有效阻止针对“回答时间”等实时问答服务的机器人访问，导致这些服务能继续利用被屏蔽的内容进行推理或训练。
事件核心：发生了什么
根据Hacker News上的一篇帖子（源自私立站点sitedex.dev），研究人员检查了大量部署了robots.txt文件、明确禁止常见AI训练爬虫（如GPTBot、Claude-Web等）的网站。结果发现，这些网站中有相当一部分忽略了另一个关键机器人——通常被称为“answer time bot”或“实时问答服务机器人”——的阻止规则。这类机器人常用于驱动搜索或AI问答工具中的实时、高时效性信息检索功能，这意味着即便网站试图阻止大模型的训练数据采集，这些服务依然能从它们页面上抓取内容并提供给用户。
为什么重要
这一发现揭示了当前AI治理中一个被忽略的管理盲区。网站站长在出于数据安全或版权担忧、积极屏蔽OpenAI、Anthropic等主流模型训练爬虫时，可能尚未意识到存在另一类规模更大、更“隐蔽”的抓取行为。这些实时问答机器人通常不用于直接训练大模型，而是作为增强检索的中间层，但其抓取行为同样消耗服务器资源，且可能导致网站内容被间接用于AI输出。这种不对等的屏蔽策略，反映出行业内对“训练”与“推理/检索”之间技术界限的认知滞后，也让主动设置禁令的网站在实际保护效果上打了折扣。
对用户/开发者/创作者的影响
对于网站运营者和创作者而言，仅依靠robots.txt劝阻官方训练爬虫可能远远不够：当前许多新兴AI应用服务（例如搜索增强AI、实时记忆助手）使用的机器人并未被纳入普遍的“禁止”名单，需要手动识别和封禁。对于开发者，这一现象提醒他们在构建AI工具时应关注协议合规与数据源透明性，避免因隐式抓取引发投诉或法律风险。普通用户目前难以判断日常使用的问答AI工具是否实际侵入了受版权保护的源站点，这可能长期削弱优质内容创作者在AI生态系统中的收益。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
1. 是否有第三方机构或浏览器厂商（如Cloudflare、Google）推出统一、可操作的“实时机器人管控”列表，降低站长管理成本。2. 主流AI问答服务（如Perplexity、Bing Chat、You.com）是否会主动回应这一发现，并说明自己的抓取策略与训练爬虫之间的区别。3. 更广泛的robots.txt现代化修订是否会被提上议程，以区分“训练”与“实时检索”两种不同属性的爬虫请求。
来源：hackernews
