维基百科上的一页内容会让你的AI代理消耗68,000个代币

一句话看懂：开发者发现，当前AI代理（如Claude Code）在抓取网页时，处理一页维基百科就会消耗近68,000个代币，且频繁遭遇反爬封禁；为此开源社区推出了一个重新编译的隐身浏览器工具Fortress，能将同样任务压缩到950个代币，并绕过多数反爬检测。

事件核心：发生了什么

据Hacker News上一则深度讨论帖披露，Claude Code内置的WebFetch功能在处理简单的维基百科页面时效果尚可——能将内容摘要压缩至约950个代币，并成功通过Indeed、Ticketmaster等网站的Cloudflare验证。然而，一旦遇到JavaScript渲染页面（如quotes.toscrape.com/js）或具有强反机器人机制的站点（如Nike.com），该工具会直接返回空结果或403错误。AI代理随后会将原始的、未经处理的完整HTML塞回上下文，导致单页代币消耗飙升至68,000个，严重影响推理效率和成本。

问题的本质在于：AI代理需要像人类一样“浏览”网页，但现有工具要么因无法执行JS而遗漏动态内容，要么因伪装不够而被反爬系统识别。为此，开发者Toncisco创建了开源项目Fortress——一个经过重新编译的Chromium隐身浏览器，通过MCP协议（Model Context Protocol）集成到Claude Code、Cursor和Claude Desktop中。测试数据显示，它能在285个代币内返回被屏蔽的JS报价页面，在约700个代币内成功抓取Nike.com（原为403），极大降低了上下文占用。

为什么重要

这一现象暴露了当前AI代理在“真实互联网访问”上的一个巨大瓶颈：模型能力很强，但数据获取渠道却被反爬技术限制得死死的。68,000个代币意味着每次网页抓取的成本接近0.5美元（按Claude API定价），对于需要批量联网搜索的代理应用，这种开销几乎不可持续。Fortress的出现代表了一种新的技术路线：不是让AI适应简陋的抓取工具，而是打造专为AI代理优化的隐身浏览器——它既保留了渲染JS的能力，又剔除了无用代码、广告和额外请求，从根本上解决了代币浪费和反爬冲突的双重问题。

从行业竞争格局看，AI驱动的网页代理（如浏览、自动化QA、研究助手）正迅速成为大模型平台的关键功能，但反爬技术也在同步升级（如Cloudflare、Kasada、DataDome等）。谁能在“伪装成人类用户浏览”和“高效输出干净数据”之间找到平衡，谁就能在AI上网代理的赛道上取得先发优势。Fortress目前虽然开源且免费，但作者明确表示尚未接入住宅IP出口，也无法绕过Kasada级的高阶反爬，这意味着仍有大量实用场景待解决。

对用户/开发者/创作者的影响

对于使用Claude Code、Cursor等AI编程工具的开发者，Fortress可以直接作为MCP工具添加，显著提高联网抓取的成功率并降低代币消耗。例如，原本抓取Nike首页失败的场景，现在只需700个代币即可拿到可用数据，从而让AI代理在分析竞品、比对商品、研究文档时更加可靠。对于运营网站或提供API的服务商，这一趋势意味着反爬和AI代理之间的攻防战将持续升级：普通用户抱怨“连Hacker News都登不上去”的窘境，正在推动越来越多的开发者和创作者使用AI伪装浏览器来正常访问网站。对于普通用户，特别是依赖AI助手进行自动化研究和内容生产的创作者，这意味着将来AI“读网页”的能力会更强、成本更低、反馈更快。