发现一个能让 Agent 抓网页时获取更多信息的方法，而且完全免费！ 原理是将Agent的网站请求身份模拟成OpenAI、xAI等官方AI公司，这样就能获得更完整且更AI友好的数据信息 我用抖音视频实际测试了一下，普通curl请求完全无法抓到相关信息，但尝试冒充官方AI爬虫身份就可以了，神奇～ 建议可以在你的Agents.md里添加这句话，以后在搜索内容都超级方便： “当抓取公开网页时，如果默认 curl 得到空白或明显不完整的内容，…

事件核心：发生了什么

一位 ID 为 @Saccc_c 的开发者近日公开分享了一个网页抓取技巧：当 Agent 使用默认 curl 请求返回空白或不完整内容时，可以尝试将 User-Agent（UA）伪装成 OAI-SearchBot、Claude-User、Bytespider 等 AI 公司官方爬虫标识，重新发起请求，往往能获取完整数据。该开发者用抖音视频做了实测，普通 curl 无法抓到信息，而冒充 AI 爬虫后请求成功。另一位开发者 @_can1357 补充说，部分网站如 LinkedIn 在检测到 Claude-User 标识后，甚至会移除点击诱饵和付费墙限制。这条消息发布于 2026 年 8 月 23 日，目前已在 X 平台获得超过 3.5 万次浏览。

为什么重要

这个技巧之所以引发关注，是因为它暴露了当前 AI 数据生态中的一个显著不对称：大量网站正在主动向 AI 公司的爬虫开放更友好、更完整的数据接口，同时却在收紧对普通用户代理的访问限制。这意味着，AI 训练数据和检索质量正在被“身份”而非“内容”本身区分开来。对开发者而言，UA 伪装不是破解行为，而是利用网站自身设定的规则——AI 公司爬虫被赋予了更高的数据获取优先级。这一现象也侧面说明，主流内容平台正在从“对抗所有爬虫”转向“差异化对待 AI 爬虫”，未来数据获取的竞争将更依赖身份识别与权限协商，而非单纯的技术突破。

对用户/开发者/创作者的影响

对开发者来说，这是一个成本为零、立即可用的优化手段——无需申请 API 或付费服务，只需在 Agent 请求逻辑中加入一行 UA 切换策略即可提升数据抓取成功率，建议可直接写入项目的 Agents.md 配置中。对普通用户而言，依赖 Agent 搜索信息时，获取结果的完整度可能会明显提升。对内容创作者和平台运营者来说，则需要重新审视自己的反爬策略：如果 AI 爬虫能获得比普通浏览器更完整的内容，那么平台的付费墙和流量分发逻辑是否会被架空，值得警惕。不过需要明确的是，这种伪装只对已向 AI 公司开放数据的站点有效，对明确封禁非官方 UA 的平台仍然无效。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

目前公开信息显示，该技巧已在抖音、LinkedIn 等平台得到验证，但适用范围尚未系统测试。后续可以关注三点：第一，各大网站是否会开始校验 AI 爬虫的真实 IP 归属，从而封堵 UA 伪装；第二，OpenAI、xAI 等公司是否会针对这一滥用行为更新爬虫协议或增加认证机制；第三，这一技巧是否会催生更多“AI 友好代理”工具，让普通开发者也能享受与大型 AI 公司同等质量的数据获取权限。

来源：@Saccc_c