ollama run lfm3-audio:latest pulling manifest Error: this model requires MLX support, but the MLX runtime is not available

该报错通常出现在运行需要 MLX 后端的模型(如 lfm3-audio:latest)时,当前安装的 Ollama 常规构建不含 MLX 运行时,导致拉取 manifest 阶段直接失败。优先确认是否为常规安装包,并换用带 MLX 支持的构建。

快速结论:该报错通常出现在运行需要 MLX 后端的模型(如 lfm3-audio:latest)时,当前安装的 Ollama 常规构建不含 MLX 运行时,导致拉取 manifest 阶段直接失败。优先确认是否为常规安装包,并换用带 MLX 支持的构建。

适用环境:Ollama 0.40.12-rc1(原帖版本);Windows 10 为原帖环境;评论中另有 Linux 与 Windows + NVIDIA 显卡经 QEMU 直通的验证记录(0.40.7)。

最快修复方案:安装对应平台的 MLX 版构建,Windows 使用 ollama-windows-amd64-mlx.zip;原帖用户反馈更新该包后问题解决。

注意事项:MLX 版构建为独立发布包,可能需要手动安装替换,是否覆盖原安装、是否保留现有模型等细节 Issue 未说明。该方案对 lfm3-audio 的实测效果在 Issue 中未直接给出,评论仅用 qwen3.5:4b-mlx 做过验证,属于可优先尝试。

问题场景

用户在 Windows 10 上使用 Ollama 0.40.12-rc1,执行 ollama run lfm3-audio:latest,在 pulling manifest 阶段即中断,模型未能加载。用户同时提到更新到该 Ollama 版本后出现模块安装异常。

报错原文

ollama run lfm3-audio:latest
pulling manifest
Error: this model requires MLX support, but the MLX runtime is not available

原因分析

最可能的原因是当前 Ollama 安装不包含 MLX 运行时,而 lfm3-audio:latest 要求 MLX 后端,因此在拉取 manifest 校验阶段就被拒绝,尚未进入实际推理。

评论中澄清了一个常见误解:MLX 并非仅限 Apple Silicon。MLX 是软件层,在 Apple 设备上使用 Metal 加速,在 Linux/Windows 上通过 CUDA 加速。因此 Windows + NVIDIA 环境存在运行 MLX 模型的可能,但需要专门的 MLX 版 Ollama 构建,常规安装包不含该运行时。

另有评论指出,Linux 上同样会出现该报错;Linux 原生支持 MLX,但 Docker 场景需要额外处理(评论指向相关 PR),未给出可直接照做的步骤。

环境排查

  • 确认 ollama -v 输出,原帖为 0.40.12-rc1,并确认安装的是常规包还是 MLX 包。
  • 确认操作系统:原帖为 Win 10;Linux 用户同样会报此错。
  • 确认是否有可用的 NVIDIA 显卡;评论中 MLX 在 Linux/Windows 上借助 CUDA 加速,但 Issue 未提供最低驱动或 CUDA 版本要求。
  • 若使用 Docker 部署,需注意 Linux 下 MLX 需要额外配置,不能直接套用本机安装结论。

解决步骤

  1. 先记录当前版本:ollama -v,便于回退对比。
  2. 停止正在运行的 Ollama 服务,避免安装包替换文件时冲突。
  3. 根据平台下载对应的 MLX 构建,版本应与当前 Ollama 版本匹配。Windows 评论给出的链接为 v0.40.12-rc1 的 ollama-windows-amd64-mlx.zip;Linux 评论提到 ollama-linux-amd64-mlx.tar.zst(v0.40.12),评论作者表示不保证可用。
  4. 按压缩包内容手动安装或替换现有 Ollama 程序文件。
  5. 重新启动 Ollama,然后再执行 ollama run lfm3-audio:latest。

验证方法

原帖用户的验证方式是更新 ollama-windows-amd64-mlx.zip 后重试,问题解决。可参考的检查点包括:ollama -v 确认版本;再次运行 ollama run lfm3-audio:latest 不再出现 MLX runtime 报错;运行 ollama ps 观察模型加载状态。评论中的对照实验显示,MLX 模型在 ollama ps 的 RUNNER 列为 mlx,而常规模型为 llamacpp,可据此判断是否走了 MLX 运行时。

参考来源

ollama/ollama #19343

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 30913

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注