只有 8.9% 的网站屏蔽 AI 爬虫,但 94.8% 的网站从未在 AI 答案中被引用

一项对 458 个中小企业网站的审计发现,94.8% 的网站从未在 AI 助手的购买推荐中出现;而在屏蔽 AI 爬虫的 8.9% 网站中,多数屏蔽的是训练爬虫,却很少屏蔽真正影响被引用的检索代理。

一句话看懂:一项对 458 个中小企业网站的审计发现,94.8% 的网站从未在 AI 助手的购买推荐中出现;而在屏蔽 AI 爬虫的 8.9% 网站中,多数屏蔽的是训练爬虫,却很少屏蔽真正影响被引用的检索代理。

事件核心:发生了什么

website-auditor.io 发布了 AI 可见性指数(AI Visibility Index),基于 2026-05-16 至 2026-08-02 期间对 458 个域名、531 次网站审计,覆盖 38 个行业。研究向 ChatGPT、Claude、Gemini 和 Perplexity 提出 5,978 个购买意向问题,追踪这些网站是否被 AI 点名推荐。

结果是:94.8% 的网站从未出现在任何 AI 答案中,仅 10 个网站被至少提及一次。Gemini 表现最好,在 2.9% 的回答中提及被测企业;ChatGPT 为 1.7%,Claude 和 Perplexity 分别为 1.6%——四个助手回答的是同样的问题,差异来自模型本身。

研究还发现,8.9% 的网站(39/436)在 robots.txt 中屏蔽了至少一个 AI 爬虫。其中屏蔽 GPTBot 的有 38 个站点、ClaudeBot 36 个、CCBot 38 个,但只屏蔽 OAI-SearchBot 的只有 4 个、Perplexity-User 仅 3 个。此外,54.6% 的网站有 schema.org 结构化数据,而明确标注 LocalBusiness 模式的只有 19.3%。

为什么重要

搜索正在从“返回链接列表”变成“直接给出答案”。对企业来说,“被 AI 引用”正在成为一种新的可见性资产,而大多数网站还没有为此做任何准备。研究把“AI 可见性”拆成两个问题:一是答案中是否提到你(结果),二是你的网站是否便于 AI 爬虫抓取(输入端可控制的因素)。9 成以上的网站栽在结果侧,但输入端的技术问题同样普遍。

一个容易被忽视的细节是:屏蔽训练爬虫和检索代理的代价完全不同。训练爬虫(如 GPTBot)抓取页面是为了构建模型,屏蔽它不影响当下的答案引用;而 OAI-SearchBot、Perplexity-User 这类检索代理是为了回答实时问题去抓取页面,屏蔽它们等于直接放弃被 AI 引用的机会。大多数网站没有做这种区分,一揽子屏蔽反而让损失被放大。

对用户/开发者/创作者的影响

对运营网站的中小企业主和内容创作者而言,这份数据意味着“被 AI 推荐”已经从可选项变成需要主动经营的渠道。结构化数据不再只是 SEO 技术细节——54.6% 的网站有 schema.org 标记,但 LocalBusiness 模式覆盖率不足两成,而这恰恰是 AI 识别商家名称、地址和业务类别最直接的机器可读信息。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对开发者来说,robots.txt 的配置策略值得重新审视:区分训练爬虫与检索代理,而不是一刀切屏蔽。对依赖自然搜索流量的创作者,当 AI 助手只给出三五个名字时,能否被引用直接决定了未来流量入口的成败。

值得关注的后续

第一,样本量还会扩大。当前 458 个域名规模不算大,但研究方表示这是持续测量项目,后续覆盖更多行业和地域后,结论会更扎实。

第二,LocalBusiness schema 采用率只有 19.3%,如果它能显著提高被 AI 引用的概率,未来可能会有更多网站补齐这一标记,值得观察采用率与引用率之间的因果关系。

第三,Gemini 在当前面板中提及率领先。需要继续追踪这是模型策略差异还是搜索质量差异,其他助手是否会跟进或调整。

来源:Hacker News

celebrityanime
celebrityanime
文章: 16540

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注