Cloudflare CEO:机器人流量超越人类，网络未来或全面走向“付费抓取”
一句话看懂：Cloudflare 监测数据显示，由 AI 代理驱动的机器人流量已占全球 HTTP 请求的 57.4%，首次超过人类用户。CEO 马修·普林斯认为，这预示网站向数据抓取者收费的“付费抓取”模式将成为必然趋势。
事件核心：发生了什么
Cloudflare 首席执行官马修·普林斯近日表示，互联网流量格局已迎来历史性转折点。根据 Cloudflare 全球监控平台的 HTTP 请求数据，各类机器人、爬虫及AI 代理发起的自动化访问请求占比达到 57.4%，而人类用户的请求降至 42.6%。普林斯指出，这一反转比行业此前预测的 2027 年底提前到来，主要受到 AI 代理数量激增的推动。
为应对这一变化，Cloudflare 去年夏季已推出服务平台，允许网站所有者屏蔽 AI 爬虫并对数据抓取行为收费。但由于缺乏配套生态，该项目此前并未获得广泛关注。目前公司正开发新协议和底层基础设施，以支撑未来高频结算与流量控制需求。
为什么重要
这一数据变化并非单纯的流量统计数字，而是 AI 行业对现有互联网生态的一次结构性冲击。长期以来，网站依靠公开数据支持搜索和业务运营，但大模型训练和 AI 搜索依赖大规模、低成本的数据抓取，消耗着网站带宽与服务器资源，却不产生直接回报。Cloudflare 切入“付费抓取”模式，本质上是为网站所有者提供一种将机器人流量从成本项转为收益项的商业方案。如果该模式得到广泛采用，将深刻改变数据获取的成本结构，并对依赖公开数据集进行训练的大模型公司形成定价压力。
与此同时，谷歌等传统互联网巨头已通过 AI 摘要、AI 模式等功能加速用户向 AI 交互方式迁移，进一步印证信息获取方式正从网页浏览向 AI 摘要转变。这加剧了网站与 AI 公司之间的利益矛盾。
对用户/开发者/创作者的影响
对普通用户：短期内浏览体验不会骤变，但未来通过 AI 摘要获取信息可能更常见，同时部分网站可能因付费门槛导致公开内容减少。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对开发者/网站运营者：Cloudflare 的工具为阻止或授权爬虫提供了技术基础。运营者可借此控制数据流向并从抓取行为中获取收入，但需要评估收费策略对自身流量的影响。
对 AI 企业/数据抓取方：训练成本和推理成本可能因数据获取成本上升而增加，尤其是依赖大规模网页抓取的公司。小型团队或开源项目的公开数据获取可能受到更大限制。
值得关注的后续
1. Cloudflare 的“付费抓取”基础设施是否会在年内正式上线，并获得主流网站运营商的采用。
2. 头部 AI 公司（如 OpenAI、Google）是否会调整爬虫策略，或与平台方达成数据授权协议以摊薄成本。
3. 监管机构是否会介入“机器人流量远超人类”这一事实带来的网络安全与反垄断讨论，尤其是在数据所有权与定价透明度方面。
来源：AIbase
