ValueError: content = r.text # fallback if response isn’t valid JSON

问题场景

用户在 LangChain Agent 或研究链中使用自定义网页抓取 Loader/Tool（例如访问 LinkedIn、Amazon、政府页面等 Cloudflare 防护站点）时，调用 requests.post(...).json() 解析响应。如果目标站点返回的不是 JSON（例如 Cloudflare 返回 HTML 错误块），代码会抛出 ValueError，导致抓取任务失败，甚至可能让整个 Agent 循环中断。

报错原文

ValueError: content = r.text # fallback if response isn't valid JSON

原因分析

可能原因：requests 的 response.json() 要求响应体必须是合法 JSON；当目标站点受到 Cloudflare 保护或返回非 200 错误页时，响应体通常是 HTML 或纯文本，此时 r.json() 会抛出 ValueError。另外，若请求没有设置 timeout，慢速站点可能让抓取请求无限挂起，阻塞整个 Agent 执行。

环境排查

• 确认 Python 版本以及 requests 库是否已安装。
• 确认是否使用 langchain-core 中的 Document 类。
• 确认目标 URL 是否确实返回 non-JSON 内容（可在浏览器 DevTools 或 curl 中查看响应头与正文）。
• 如使用 API Key，确认请求头中 Authorization 是否正确设置。
• 确认当前 LangChain 版本是否已停止接受新的社区工具集成（该 Issue 已标记 external，官方建议另建仓库并通过 PyPI 分发）。

解决步骤

1. 在自定义 Loader/Tool 的请求处理中，先调用 r.raise_for_status() 显式检查 HTTP 状态码。
2. 使用 try/except ValueError 包裹 r.json()，捕获解析失败后回退到 r.text：

   try:
       data = r.json()
       content = data.get("markdown", "")
   except ValueError:
       content = r.text  # fallback if response isn't valid JSON

3. 为 requests.post 增加 timeout 参数，默认可设置为 30 秒；遇到 Cloudflare 防护页面可适当提高到 45–60 秒。
4. 同时捕获 requests.exceptions.Timeout 和 requests.exceptions.RequestException，避免未处理异常中断 Agent 循环。
5. 在返回的 Document.metadata 中加入 "trust_level": "untrusted"，标识外部抓取内容不可直接信任。
6. 如果打算将工具发布给他人使用，不要提交到 LangChain 主仓库，而是创建独立仓库并发布到 PyPI。

验证方法

用受 Cloudflare 保护的测试 URL 调用自定义 Loader，确认不再抛出 ValueError，而是返回 markdown 或原始响应文本；再模拟慢速站点或超时场景，确认返回超时错误信息，且 Agent 循环不会被阻塞。

参考来源

langchain-ai/langchain #36134

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。