一句话看懂：2026年6月至10月，mojodojo.io对自身站点6万余次爬虫请求的监测显示，AI爬虫占23.6%，且每出现1次搜索引擎爬虫就伴随0.96次AI爬虫访问。值得关注的是，7.7%的请求由伪装成爬虫的IP发出。
事件核心：发生了什么
根据 mojodojo.io 于 2026 年 10 月 8 日发布的 AI Crawler Index，该站点自 2026 年 6 月 6 日起追踪所有 user agent 疑似爬虫的请求，分类统计结果如下：AI 训练类爬虫占 16.7%，AI 搜索类占 5.2%，AI 用户实时抓取占 1.7%，三者合计 23.6%。搜索引擎爬虫占 24.7%，SEO 工具占 24.3%，社交预览占 20.4%。
具体到产品：FacebookBot（Meta，社交预览）以 10,139 次请求居首，单日 338 次；AhrefsBot（SEO 工具）9,763 次；Bingbot 和 Googlebot 分别 5,793 和 4,947 次。AI 阵营中，ClaudeBot（Anthropic，AI 训练）3,508 次，Amazonbot 2,824 次，Meta-ExternalAgent 2,458 次，PerplexityBot 2,411 次，GPTBot 1,376 次，ChatGPT-User（AI 用户实时抓取）926 次。监测期内共记录 61,258 次爬虫命中，剔除 552 次伪装请求。
数据还显示，AI 机器人每访问一次搜索引擎，就产生约 0.96 次 AI 爬虫请求；ChatGPT 等助手因用户提问而实时读取的页面累计 1,035 页。假爬虫占比 7.7%，即在可验证的声明为爬虫的请求中，有 7.7% 来自错误 IP。被冒充最多的目标是 PerplexityBot，共检出 58 次虚假命中。
为什么重要
这份数据提供了 AI 爬虫与搜索引擎爬虫流量比例的参考。AI 训练和实时抓取合计已接近搜索引擎爬虫的四分之三，意味着内容平台不再仅面对 Google 和 Bing，还需管理来自 OpenAI、Anthropic、Meta、Amazon、Perplexity 等多方请求。假爬虫比例达到 7.7%，说明仅靠 user agent 识别已经不够，IP 验证正在成为基础能力。该数据来自单一站点，目前公开信息显示应视为案例研究，而非全行业普查。
对用户/开发者/创作者的影响
对开发者来说，robots.txt 和 UA 白名单机制需要配合 IP 验证，否则可能放行伪装流量或错误拦截真实爬虫。对内容创作者和站长而言，AI 抓取与搜索引擎抓取已接近 1:1，若未单独配置 AI 爬虫规则，内容被用于训练或实时问答的概率显著上升，可考虑按爬虫类别设置访问策略。对企业采购方，衡量 AI 搜索曝光时，应把 PerplexityBot、OAI-SearchBot、Claude-SearchBot 等纳入监测范围，而非仅盯传统 SEO 工具。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，mojodojo.io 的 IP 记录始于 2026 年 10 月 7 日，此前数据仅按 UA 分类，后续验证比例是否会改变排名值得观察。第二，GPTBot 验证率仅 8%，ChatGPT-User 为 59%，OpenAI 是否会调整签名机制或 IP 公布策略。第三，AI 爬虫请求量若继续上升，网站是否会普遍转向按次付费或默认屏蔽 AI 训练类爬虫。
