发现一个能让 Agent 抓网页时获取更多信息的方法,而且完全免费! 原理是将Agent的网站请求身份模拟成OpenAI、xAI等官方AI公司,这样就能获得更完整且更AI友好的数据信息 我用抖音视频实际测试了一下,普通curl请求完全无法抓到相关信息,但尝试冒充官方AI爬虫身份就可以了,神奇~ 建议可以在你的Agents.md里添加这句话,以后在搜索内容都超级方便: “当抓取公开网页时,如果默认 curl 得到空白或明显不完整的内容,…

开发者发现,让 AI Agent 在抓取网页时伪装成 OpenAI、xAI 等官方 AI 公司的爬虫身份,可以绕过部分网站的反爬限制,免费获取更完整、更 AI 友好的数据。这个技巧已在抖音等平台实测有效。








