[Question]:GPT-OSS with JSON Structured Output caused error for LLM

问题场景

用户在 RAGFlow 的 Agent 编排中配置 LLM 节点，选择 GPT-OSS 模型，并启用了 JSON Structured Output 功能。当流程执行到该 LLM 节点时，节点报错并终止，日志中显示 JSON 解析失败。

报错原文

[Question]:GPT-OSS with JSON Structured Output caused error for LLM

Error in LLM node: Failed to parse. Text: "". Error: SyntaxError: Unexpected end of JSON input

Troubleshooting URL:
https://js.langchain.com/docs/troubleshooting/errors/OUTPUT_PARSING_FAILURE/

原因分析

根据 Issue 讨论，可能原因如下：

• GPT-OSS 模型返回了空字符串，导致 JSON 解析器遇到 “Unexpected end of JSON input”。
• 模型可能被限流（rate limit）或配置有误，导致没有生成有效回复。
• GPT-OSS 可能与 RAGFlow 的结构化输出功能不兼容，无法按提示词要求返回纯 JSON。
• output_structure 配置存在拼写错误或过于复杂，模型难以生成符合要求的 JSON。

RAGFlow 实现方式是在提示词中加入 JSON 格式要求，然后对模型回复进行解析；解析失败时重试，最终仍失败则节点输出错误。

环境排查

• 确认 RAGFlow 版本是否与 GPT-OSS 部署端兼容。
• 检查 GPT-OSS 的 API 配置是否正确，包括 endpoint、API key、模型名称。
• 查看 RAGFlow 日志中 LLM 节点的原始返回内容，确认是否为空白。
• 检查是否触发限流：查看 GPT-OSS 服务端日志或配额状态。
• 核对 output_structure 配置的 JSON 结构是否与提示词要求一致。

解决步骤

1. 打开 RAGFlow 日志，找到 LLM 节点执行时的详细输出，确认模型返回的内容是否为空字符串。
2. 尝试简化 JSON 输出结构，例如只返回一个简单字段，排除结构过于复杂导致模型无法生成的问题。
3. 在提示词中明确要求模型“只返回 JSON，不要包含任何额外文字、注释或 Markdown 代码块”。
4. 检查 output_structure 配置的字段名和嵌套层级是否有拼写错误。
5. 如果问题持续，尝试更换其他 LLM 后端（如 OpenAI、Ollama 等），确认是否为 GPT-OSS 特有兼容性问题。
6. 如果确认是 GPT-OSS 部署问题，检查其 API 兼容性，确认是否支持 JSON 结构化输出（如 function calling / response_format 参数）。

验证方法

修改配置后重新运行包含该 LLM 节点的 Agent 流程，观察节点是否正常输出 JSON 数据且无报错；同时在日志中确认模型返回内容为非空、有效 JSON。

参考来源

infiniflow/ragflow #9462

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。