issue: Image generation works in Playground but is unavailable in Chat with an OpenAI-compatible FLUX endpoint

当你已经配好 OpenAI 兼容的 FLUX 图片生成端点、Playground → Images 能出图,但普通聊天里看不到 Image/Image Generation 入口、模型只把 dalle.text2im 当纯文本吐出来时,先把排查重点放在聊天输入框的 Integrations 菜单里

快速结论:当你已经配好 OpenAI 兼容的 FLUX 图片生成端点、Playground → Images 能出图,但普通聊天里看不到 Image/Image Generation 入口、模型只把 dalle.text2im 当纯文本吐出来时,先把排查重点放在聊天输入框的 Integrations 菜单里 Image 开关是否开启,以及 Function Calling 是 Native 还是 Legacy。维护者认为这是预期行为(开关未开启),但报告者反馈该入口在其界面中始终没有出现。

适用环境:Open WebUI v0.11.3;安装方式为 Other;操作系统为 Openshift(RHEL)/Kubernetes;图片生成后端为 OpenAI 兼容 API(Bifrost 后面),图片模型 black-forest-labs/FLUX.2-klein-4B,通过 vLLM-Omni 提供服务;聊天模型 vllm/RedHatAI/gemma-4-26B-A4B-it-FP8-Dynamic。Issue 未提供 Python、CUDA、显卡等信息。

最快修复方案:暂无确认的一步修复方案。维护者给出的处理方式是:打开聊天输入框旁的 Integrations 菜单(”+” 按钮旁边的图标),手动开启 Image 开关后再发送提示词;在 Native function calling 模式下同样需要这个开关,因为 Workspace 模型上启用 Image Generation capability 和 builtin tools 只是让工具可用,开关才真正把工具提供给该条消息的模型。

注意事项:报告者表示其 Integrations 菜单中根本没有 Image 选项,试了多种配置都未出现,因此维护者给出的开关方案在报告者环境中未验证成功。此外报告者提到 Function Calling 参数曾自动重置(只显示 Default),并且出现过一次无法复现的 open-webui 崩溃且没有日志。维护者以“预期行为”关闭了该 Issue,若 Image 入口确实缺失,需要带 Integrations 菜单截图和用户角色重新开启 Issue。

问题场景

用户在 Open WebUI v0.11.3(部署于 Openshift/Kubernetes)中配置了 OpenAI 兼容的图片生成端点,后端是 black-forest-labs/FLUX.2-klein-4B,经 vLLM-Omni 提供服务。该端点在直接 curl 调用时正常,在 Open WebUI 的 Playground → Images 中也能正常出图。

但在普通聊天中使用已连接的 Gemma 模型(vllm/RedHatAI/gemma-4-26B-A4B-it-FP8-Dynamic),或使用通过 Workspace 新建、已勾选 Image Generation 与 Builtin Tools 的模型时,图片生成不可用:聊天输入区看不到 Image 或 Image Generation 选项;让模型生成图片时,模型把带 dalle.text2im action 的 JSON 当普通文本返回,Open WebUI 也不会执行它。

报错原文

issue: Image generation works in Playground but is unavailable in Chat with an OpenAI-compatible FLUX endpoint

{
  "action": "dalle.text2im",
  "action_input": "{ \"prompt\": \"A beautiful, realistic red fox sitting in a lush green forest...\" }",
  "thought": "The user wants an image..."
}

相关配置项(Issue 原文):

- name: ENABLE_IMAGE_GENERATION
  value: "true"
- name: IMAGE_GENERATION_ENGINE
  value: "openai"
- name: IMAGE_GENERATION_MODEL
  value: "black-forest-labs/FLUX.2-klein-4B"
- name: IMAGES_OPENAI_API_BASE_URL
  value: "https:///openai/v1"
- name: IMAGES_OPENAI_API_KEY
  valueFrom:
    secretKeyRef:
      name: llm-service-dev-api-key
      key: api-key

原因分析

维护者的分析是:Workspace 模型上启用 Image Generation capability 和 builtin tools,只是让图片生成工具对该模型“可用”,并不等于对每条消息都开放。真正把工具提供给模型的是聊天输入框 Integrations 菜单里的 Image 开关;如果这个开关没有开启,Gemma 看不到图片工具,于是会自行编造一个 ChatGPT 风格的 dalle.text2im 调用并以纯文本形式返回——这正是报告者看到的现象。维护者认为这属于预期行为,并将其作为预期行为关闭。

报告者则认为不符合实际界面情况:其聊天输入区 “+” 按钮旁没有 Image 选项(已附截图),尝试多种配置都未能让该入口出现。因此可能存在其他因素(例如 UI 版本、Function Calling 模式、模型/用户角色配置差异),但 Issue 中没有明确证据,属于可能原因。

环境排查

  • 确认 Open WebUI 版本:报告者为 v0.11.3,可先确认是否已到 dev 分支或最新源码。
  • 确认部署环境:Openshift(RHEL)/Kubernetes,安装方式为 Other。
  • 确认图片生成相关环境变量是否生效:ENABLE_IMAGE_GENERATIONIMAGE_GENERATION_ENGINEIMAGE_GENERATION_MODELIMAGES_OPENAI_API_BASE_URLIMAGES_OPENAI_API_KEY
  • 确认聊天输入框 Integrations 菜单中是否存在 Image 开关;若缺失,记录用户角色和菜单截图。
  • 确认 Settings → Function Calling 当前是 Native 还是 Legacy,还是被重置为 Default(报告者遇到过后一种情况)。
  • 确认连接的是 Native 还是 Legacy function calling,以及同一连接下其他工具是否工作。
  • 确认 Workspace 模型的 Capabilities(Image Generation、Builtin Tools)是否已启用。
  • 确认 Playground → Images 是否仍可正常出图,作为后端连通性的对照。
  • Issue 未提供 Python、CUDA、PyTorch、显卡、Ollama 版本等信息,无需在这些方向上假设。

解决步骤

  1. 先按维护者给出的首选流程操作:在聊天输入框中找到 “+” 按钮旁边的 Integrations 图标,打开菜单,开启 Image 开关。
  2. 开启后再发送图片提示词,让 Open WebUI 调用已配置的 FLUX 端点(预期请求为 POST /v1/images/generations)。
  3. 如果使用 Native function calling 模式,同样需要执行第 1 步——只在 Workspace 模型上勾选 Image Generation 和 Builtin Tools 是不够的,工具可用不等于工具被提供给该条消息。
  4. 如果 Integrations 菜单里没有 Image 选项,先确认当前用户角色,并截图记录的 Integrations 菜单展开状态。
  5. 检查 Settings → Function Calling 设置是否被重置为 Default;报告者遇到该参数自动重置的情况,可重新明确设为 Native 或 Legacy 后对比结果。
  6. 分别用 Legacy 和 Native 两种 function calling 模式各试一次,观察是否有差异(报告者已附两种模式的日志与截图)。
  7. 如果确认 Image 入口缺失,按维护者要求带上 Integrations 菜单截图和用户角色重新开启 Issue,而不是继续在已关闭的议题下追问。

验证方法

开启 Integrations 菜单中的 Image 开关后,普通聊天中输入图片提示词,Open WebUI 应调用已配置的 POST /v1/images/generations 返回图片,而不是由模型输出包含 dalle.text2im 的 JSON 纯文本。可以同时用 Playground → Images 作为对照:该处此前一直能出图,因此只需确认聊天路径也能走通同一端点。如果仍未出图,检查是否在 Native/Legacy 两种 function calling 模式下表现不同,并确认 Function Calling 参数没有停留在 Default。报告者自身在 Issue 中并未确认该方案解决了问题,因此上述验证以其界面出现 Image 入口并可调用为前提。

参考来源

open-webui/open-webui #30304

相关 Issue:#25853#30082#29090#27758

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 25297

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注