快速结论:issue: Mistral Large 4 malformed output 通常出现在 Open WebUI 通过“外部连接”接入 Mistral API,并选用 Mistral Large 4 等带推理(reasoning/thinking)能力的模型时。优先排查 Mistral API 与 Open WebUI 的协议兼容性;Issue 中确认的原因是 Mistral API 并非 OpenAI 兼容接口。
适用环境:Open WebUI v0.11.4(Docker 安装),Ubuntu 24.04 LTS,浏览器 Firefox;未使用 Ollama。Issue 未提供 Python、CUDA、显卡或 PyTorch 版本信息,这些信息与本次问题没有明确关联。
最快修复方案:暂无确认的一步修复方案。Issue 中给出的可行路径是在 Open WebUI 与 Mistral API 之间加入兼容层,例如 LiteLLM、mistral-gateway,或使用 Open WebUI 的 Filter Function 对 Mistral 模型进行双向格式转换。
注意事项:Filter Function 方案来自其他用户的经验分享,帖子明确说明代码是 AI 生成的,且未提供可审查的完整代码,因此属于未验证方案,可优先尝试。连接层方案同样未在 Issue 中给出详细配置步骤。注意区分 Open WebUI 对外提供接口与 Open WebUI 连接第三方 API 这两个方向,相关文档页面不能说明 Open WebUI 可直接连接 Anthropic Messages API 或 Mistral 原生 API。
问题场景
用户在 Open WebUI 的管理员设置中,通过外部连接添加 Mistral API,并把模型 ID 配置为 mistral-large-4,随后在聊天界面发送 “Hello” 等普通消息。Mistral 的其他模型输出正常,只有 Mistral Large 4 的回复异常:思考(thinking)内容没有被正确解析和折叠,而是以原始结构化文本的形式拼进最终回答。
报错原文
issue: Mistral Large 4 malformed output
[{'type': 'thinking', 'thinking': [{'type': 'text', 'text': 'The user said'}], 'closed': True}][{'type': 'thinking', 'thinking': [{'type': 'text', 'text': ' "Hello". This'}], 'closed': True}]...
[{'type': 'thinking', 'thinking': [{'type': 'text', 'text': '.'}], 'closed': True}, {'type': 'text', 'text': 'Hello!'}] 👋 How can I help you today?
实际期望的输出是普通文本,例如 👋 How can I help you today?;实际却看到大量重复的 thinking 块被当成正文渲染。应用日志只显示 POST /api/chat/completions HTTP/1.1 200 等正常 HTTP 状态,提交者本人也表示不确定日志是否相关。
原因分析
维护者给出的明确结论是:Mistral API is not openai compatible。Open WebUI 的外部连接按 OpenAI 兼容接口处理请求与响应,而 Mistral Large 4 的推理输出结构(thinking/reasoning 块)不符合这一假设,导致 Open WebUI 无法正确解析 reasoning 内容,从而把原始结构显示为畸形输出。
自动关联到的 #29539、#22267、#29842、#29128 等 Issue 都涉及 thinking/reasoning 流式解析或渲染异常,属于同一类解析路径问题,但 Issue 讨论中没有确认这些 Issue 与本次问题存在代码层面的因果关系,只能作为排查方向的参考。
环境排查
- 确认 Open WebUI 版本,Issue 复现版本为 v0.11.4,且提交者表示在最新 release 和当时的
dev分支上均能复现。 - 确认部署方式为 Docker,操作系统为 Ubuntu 24.04 LTS。
- 确认外部连接中填写的模型 ID 为
mistral-large-4,并确认该模型在 Mistral 侧启用了推理输出。 - 对比同一 Mistral API Key 下其他模型的表现,用于判断问题是否只集中在带 thinking 输出的模型。
- 确认是否已经部署了兼容层(如 LiteLLM、mistral-gateway)或 Filter Function;如果已有,请检查是否同时处理了请求入方向与响应出方向。
- Issue 未记录 Python、CUDA、PyTorch、显卡等版本,暂不需要把它们作为首要排查项。
解决步骤
- 先缩小范围:在同一 Open WebUI 实例中分别查询一个普通 Mistral 模型和
mistral-large-4。如果只有后者出现 thinking 块外泄,基本可以确认是推理格式兼容问题,不是网络或鉴权问题。 - 可优先尝试在 Open WebUI 与 Mistral API 之间加入兼容层,例如 LiteLLM 或 Issue 中提到的 mistral-gateway,由兼容层把 Mistral 原生响应转换为 OpenAI 兼容格式,再在 Open WebUI 中以 OpenAI 兼容连接方式接入。
- 可优先尝试使用 Open WebUI Filter Function 对 Mistral 模型做双向转换:响应入方向把 thinking 结构转换为 Open WebUI 可识别的格式,请求出方向把聊天历史还原为 Mistral 接受的格式。Issue 中分享该方案的回复明确说明代码质量不足且未直接公开,因此需要自行参考 Open WebUI Filter 文档和 Mistral reasoning 文档实现并测试。
- 如果暂时不需要推理能力,可以考虑换用输出正常的 Mistral 模型,或等待 Open WebUI 侧对 Mistral 原生协议的支持变化;Issue 讨论中维护者表示不会为连接设置加入非广泛使用的非标准协议,因此短期内不要预期官方直接集成。
验证方法
重新发送 “Hello” 等简单消息,确认界面只显示正常回答文本(如 “👋 How can I help you today?”),不再出现 {'type': 'thinking', ...} 这类原始结构字符串。再发送需要多轮上下文的消息,确认请求出方向和响应入方向都正常工作,聊天历史没有被错误改写,模型回复也没有被截断或丢失。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


