error loading model: unknown model architecture: ‘mllama’ (Llama3.2-vision)

该报错通常出现在用 Ollama 运行 Llama3.2-vision 这类架构为 mllama 的多模态模型时,模型 Manifest 下载正常,但 llama-server 在加载模型阶段无法识别 mllama 架构。应优先确认 Ollama 版本与该模型架构的兼容性,并先用其他模型排除环境问题

快速结论:该报错通常出现在用 Ollama 运行 Llama3.2-vision 这类架构为 mllama 的多模态模型时,模型 Manifest 下载正常,但 llama-server 在加载模型阶段无法识别 mllama 架构。应优先确认 Ollama 版本与该模型架构的兼容性,并先用其他模型排除环境问题。

适用环境:Issue 已确认的环境为 macOS(Apple 显卡、Apple CPU),Ollama 0.30.5 与 0.33.1 均复现;另有用户反馈在 M4 Mac mini 上出现同样报错。Issue 中未提供 Python、CUDA、PyTorch 版本信息。

最快修复方案:暂无确认的一步修复方案。Issue 讨论中未给出被验证有效的降级、升级或参数修改方法。

注意事项:有用户表示更新 Ollama 前该模型可以正常使用,说明问题可能与特定版本相关,但 Issue 未确认哪个版本可用,不建议盲目升降级。也有用户反馈 qwen2.5vl 在 Ollama v0.33.1 下可正常运行,可作为临时替代,但不能据此推断 mllama 架构已修复。

问题场景

用户在 macOS 上执行 ollama run llama3.2-vision --verbose,Manifest 与模型层均下载完成并校验通过,随后在启动 llama-server 加载模型时失败。报错在 Ollama 0.30.5 和 0.33.1 上均出现,涉及 llama3.2-vision:11b,以及部分用户升级后新下载的其他模型。使用 ollama show llama3.2-vision 可看到该模型 architecture 为 mllama,具备 tools、completion、vision 能力。

报错原文

Error: 500 Internal Server Error: llama-server process has terminated: exit status 1: error loading model: unknown model architecture: 'mllama'
error loading model: unknown model architecture: 'mllama'

原因分析

可能原因是当前 Ollama 版本内置的 llama-server 无法识别 mllama 模型架构,导致模型下载完成但加载阶段直接退出。Issue 中有用户明确表示在更新 Ollama 之前该模型可以正常使用,因此该问题与版本变更相关的可能性较大;但讨论中未定位到具体的引入版本或修复版本,也无法确认是模型包、推理后端还是版本回归导致。

环境排查

  • 确认 ollama --version 输出,Issue 中 0.30.5 和 0.33.1 均复现。
  • 确认操作系统为 macOS,硬件为 Apple Silicon(如 M4 Mac mini)。
  • 执行 ollama show llama3.2-vision,确认 architecture 显示为 mllama。
  • 确认下载与校验阶段是否正常完成:若 Manifest 拉取和 sha256 校验通过,说明问题更可能出在加载阶段而非下载阶段。
  • 尝试运行 qwen2.5vl,验证 Ollama 服务本身是否正常;Issue 中有用户反馈其在 v0.33.1 下可用。

解决步骤

  1. 先执行 ollama --version 和 ollama show llama3.2-vision,记录当前版本与模型架构,确认报错发生在加载阶段。
  2. 按 Issue 中的反馈,检查是否在升级 Ollama 后才出现该问题;若升级前可用,可优先尝试回退到升级前的版本(此为推测性处理,Issue 未给出确认可用的具体版本)。
  3. 临时改用其他可正常运行的多模态模型(例如 Issue 中用户反馈可用的 qwen2.5vl),以确认 Ollama 基础服务与下载流程正常。
  4. 关注 ollama/ollama #16547 的后续状态,等待官方对该架构的兼容性修复;Issue 正文与评论中未提供有效的模型重建、重新拉取或参数配置步骤。

验证方法

重新执行 ollama run llama3.2-vision,若不再出现 unknown model architecture: 'mllama' 且模型能进入交互并正常响应,即表示问题已解决。在 Issue 未给出确认修复版本前,只能以该命令的实际运行结果作为判断依据。

参考来源

ollama/ollama #16547

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 29894

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注