Docker 0.15.3 failed to initialize MLX

这个报错通常发生在 Docker 或裸机环境通过 ollama run 加载本地图像生成模型(如 x/z-image-turbo 、 x/flux2-klein )时:MLX 后端初始化失败,底层原因是缺少 libquadmath.so.0 或 CUDA 版 MLX 共享库所需的依赖未装齐。优先检查

快速结论:这个报错通常发生在 Docker 或裸机环境通过 ollama run 加载本地图像生成模型(如 x/z-image-turbo、x/flux2-klein)时:MLX 后端初始化失败,底层原因是缺少 libquadmath.so.0 或 CUDA 版 MLX 共享库所需的依赖未装齐。优先检查容器内是否缺少运行时库。

适用环境:Issue 已确认的环境:Ollama 0.15.3 的 Docker 镜像 ollama/ollama:0.15.3,操作系统为 Docker,GPU 为 Nvidia,CPU 为 Intel。评论中另出现裸机环境:Debian 13、NVIDIA Driver 550.163.01、CUDA 12.4、Ollama 0.21.1;以及 Alpine 3.23.3、Ollama 0.18.0。以上仅为评论中提及,未作为确认环境。

最快修复方案:暂无确认的一步修复方案。Issue 中验证过的做法是基于 ollama/ollama:latest 构建自定义镜像,安装 libquadmath0 并补齐 CUDA 相关 deb 包及符号链接;该方案为评论中提供的 Dockerfile,官方镜像尚未合并修复,需要自行构建。

注意事项:评论中的 Dockerfile 基于 latest 标签构建,并未固定版本,后续镜像变化可能导致构建结果不同;其中下载的 CUDA deb 包版本、路径与符号链接针对特定构建环境,未覆盖裸机安装场景;PR 合并状态在讨论中未得到确认,官方镜像是否已内置这些依赖尚不确定。

问题场景

用户在 Docker 中运行 ollama/ollama:0.15.3 镜像,执行 ollama run x/z-image-turbo:latest 或 ollama run x/flux2-klein 加载图像生成模型时触发。评论中还有用户在裸机 Debian 13 + Ollama 0.21.1 上执行 ollama run x/z-image-turbo 出现同类错误,以及 Alpine 3.23.3 + Ollama 0.18.0 下报 libmlxc.so not found。

报错原文

Error: failed to load model: 500 Internal Server Error: image runner failed: Error: failed to initialize MLX: MLX: Failed to load libmlxc library. Tried: ./build/lib/ollama/libmlxc.so, libmlxc.so. Last error: libquadmath.so.0: cannot open shared object file: No such file or directory (exit: exit status 1)

评论中出现的相关变体:

Error: 500 Internal Server Error: mlx runner exited unexpectedly: exit status 255

Error: 500 Internal Server Error: mlx runner failed: Error: failed to initialize MLX: libmlxc.so not found (exit: exit status 1)

Error: failed to load model: 500 Internal Server Error: mlx runner failed: Error: failed to initialize MLX: MLX: Failed to load /usr/local/lib/ollama/mlx_cuda_v13/libmlxc.so: libmlx.so: cannot open shared object file: No such file or directory (exit: exit status 1)

原因分析

根据报错链,MLX 在加载 libmlxc.so 时失败,直接原因是动态链接器找不到 libquadmath.so.0,即基础镜像中缺少该运行时库。评论中后续出现的 mlx runner exited unexpectedly: exit status 255、libmlxc.so not found,以及裸机上的 libmlx.so: cannot open shared object file,说明 MLX 相关共享库的安装或链接路径也可能不完整。可优先从“容器内是否缺少运行时依赖库”入手排查。

环境排查

  • 确认运行的 Ollama 版本与镜像标签,如 ollama/ollama:0.15.3。
  • 确认模型是否为图像生成模型(x/z-image-turbo、x/flux2-klein 等),这类模型依赖 MLX 后端。
  • 在容器内检查是否存在 libquadmath.so.0,以及 /usr/lib/ollama/mlx_cuda_v13/ 下是否存在 libmlxc.so。
  • 检查 libmlxc.so 的依赖是否齐全(如 libmlx.so),并确认相关符号链接已建立。
  • 确认宿主机 Nvidia 驱动、CUDA 版本与镜像内 CUDA 组件是否匹配;评论中的裸机环境为 Driver 550.163.01、CUDA 12.4,仅供参考。
  • 如使用 Alpine 等非 glibc 基础镜像,需确认对应运行时库是否可用。

解决步骤

  1. 如果只需确认依赖缺失:进入运行中的容器,尝试查找 libquadmath.so.0 是否存在,以此确认报错原因。
  2. 可优先尝试评论中提供的方案:使用以下 Dockerfile 基于 ollama/ollama:latest 构建自定义镜像,安装 libquadmath0 与 wget,下载并安装 CUDA 相关 deb 包,再为 mlx_cuda_v13 创建头文件与库路径的符号链接。
  3. 构建镜像:docker build -t ollama/ollama:imagegen . -f Dockerfile。
  4. 以 --gpus all 运行容器,并挂载模型目录;评论示例为:docker run --rm -d --gpus all -v /usr/share/ollama/.ollama:/root/.ollama --name imagegen ollama/ollama:imagegen。
  5. 进入容器执行 ollama run x/z-image-turbo:fp8 "..." 测试图像生成。
  6. 若裸机出现 libmlxc.so 或 libmlx.so 缺失,参考评论中提到的后续 PR 排查,但该 PR 在讨论中未确认已合并,官方修复状态尚不明确。

验证方法

在容器内再次执行 ollama run x/z-image-turbo:fp8 或对应模型命令;如果不再出现 failed to initialize MLX、libquadmath.so.0 或 libmlxc.so 相关报错,并成功输出生成结果,即可认为问题已解决。评论中该方案成功生成了图像,可作为验证参考。

参考来源

ollama/ollama #14016

ollama/ollama PR #13984

ollama/ollama PR #17956

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36725

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注