issue: context compaction persists tool-protocol or reasoning output as a summary

该问题出现在 Open WebUI 启用上下文压缩且 chat.context_compaction.model 留空(回退到当前聊天模型)时,压缩内部请求继承了工作区 agent/tool 的 system prompt,模型返回工具协议或 reasoning、而非摘要文本,却被写入 contex

快速结论:该问题出现在 Open WebUI 启用上下文压缩且 chat.context_compaction.model 留空(回退到当前聊天模型)时,压缩内部请求继承了工作区 agent/tool 的 system prompt,模型返回工具协议或 reasoning、而非摘要文本,却被写入 contextSummary 检查点。优先排查压缩是否回退到带 agent/tool 系统提示的模型,并给压缩任务指定独立模型。

适用环境:Open WebUI dev(148391ded04caf1ffa78be8b450d121e9623c06c、后续 6ea321370e)、v0.11.1、v0.11.2;Ubuntu 24.04;Git Clone 安装;走 OpenAI 兼容路径(经 LiteLLM 调用),与 Ollama 无关;与浏览器无关。

最快修复方案:在 Admin Settings 中为上下文压缩单独指定一个压缩模型,不要留空回退到带 agent/tool 系统提示的工作区模型;同时检查压缩提示模板是否约束了摘要输出,必要时调整为明确的摘要指令。该做法来自维护者给出的“configuration”结论,属于配置层面规避,并未修复解析器接受非摘要输出的问题。

注意事项:检查点被写入后,历史消息在聊天和数据库中仍然保留,只是后续请求不再把检查点之前的消息送入模型上下文;但错误摘要会持续影响该会话,需清理或重新生成受影响的检查点。指定压缩模型只能降低触发概率,不构成输出完整性边界:解析器是否校验 finish_reason、tool_calls 等问题在 Issue 关闭时仍未被修复。

问题场景

用户在 Open WebUI 中启用上下文压缩(如 chat.context_compaction.enable=true),且未设置压缩模型(chat.context_compaction.model=""),压缩请求回退到当前聊天的自定义 agent/tool 模型。当对话跨过压缩阈值时,内部摘要请求带上了该工作区模型的 agent/tool system prompt,模型返回的是工具协议文本或 reasoning 内容,Open WebUI 仍将其当作摘要写入持久化检查点,替换后续请求中的旧上下文。

报错原文

issue: context compaction persists tool-protocol or reasoning output as a summary

Issue 中给出的被错误接受为摘要的响应形态:

{
  "choices": [
    {
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "<tool_protocol>lookup_ticket(12345)</tool_protocol>"
      }
    }
  ]
}

原因分析

Issue 指出当前 dev 上有两条叠加路径:

  • 可能原因一:_generate_summary() 调用所选聊天/任务模型时没有设置 bypass_system_prompt=True。当压缩回退到活跃的自定义模型时,该模型的 agent/tool system prompt 被注入摘要请求。维护者承认这是 Open WebUI 所有任务生成的通用行为,而非压缩特有。
  • 可能原因二:_response_text() 只检查 message.content 非空,content 为空时还会回退到 reasoning_content,不校验 finish_reason,也不检查结构化的 tool/function call。_generate_summary() 随后把它当成合法摘要,调用方又将结果写为 contextSummary。

Issue 作者补充了真实生产链路:实际压缩调用发出的请求体只含 system,user,其中 1,920 字符的 system 消息来自工作区 agent/tool 指令;提供方返回 finish_reason="stop"、220 字符、无结构化 tool_calls,内容为原始工具协议,其长度与 MD5(19cac34eaa2b856dcd09d9dbbe2f80a5)与 chat_message.context_summary 及嵌入聊天历史中的检查点完全一致。维护者最终以“配置问题”关闭,未合入解析器层面的校验修复。

环境排查

  • 确认 Open WebUI 版本:Issue 在 v0.11.1、v0.11.2 及 dev 提交 148391ded04caf1ffa78be8b450d121e9623c06c 上复现,6ea321370e 时压缩实现仍相同。
  • 确认 chat.context_compaction.enable 是否开启,以及压缩阈值(Issue 生产环境为 80k/40%)。
  • 确认 chat.context_compaction.model 是否为空;为空时会回退到当前聊天模型。
  • 确认所回退的模型是否为工作区 agent/tool 模型,是否带自定义 system prompt。
  • 确认使用的压缩提示模板;Issue 使用的是默认压缩提示。
  • 确认任务模型参数,Issue 中 task.model.params={}。
  • 确认请求路径是否为 OpenAI 兼容接口(经 LiteLLM),并检查提供方实际返回的 finish_reason、content、reasoning_content、message.tool_calls。

解决步骤

  1. 打开 Admin Settings,找到上下文压缩对应设置。
  2. 把压缩模型从“留空回退到当前聊天模型”改为明确指定一个具备摘要能力、不带 agent/tool 系统提示的模型。
  3. 检查压缩提示模板,把它改为明确要求输出对话摘要、禁止输出工具调用或推理过程的指令。
  4. 对已被错误检查点影响的会话,定位并清理或重建写入 context_summary / 嵌入聊天历史中的错误摘要,使旧消息重新进入模型上下文。
  5. 如仍希望在代码层面修复,可优先尝试(未在 Issue 中验证):_generate_summary() 调用时隔离系统提示,并在 _response_text() 中校验 finish_reason、tool_calls 及摘要输出格式,校验失败时走压缩失败路径、保留完整历史。

验证方法

重新触发一次上下文压缩,检查压缩请求体中是否不再包含工作区 agent/tool 的 system 提示,确认返回内容为真正的摘要文本而非工具协议或 reasoning;再确认新写入的 contextSummary 内容可读、能概括被压缩的旧消息,且下一轮请求中检查点之前的历史被正常替换。检查点之后应能看到原聊天消息仍保留在聊天记录中。

参考来源

open-webui/open-webui #29308

关联:#27604、#27051

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36166

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注