Error: 500 Internal Server Error with new model Flint

问题场景

用户在 Nvidia AGX Orin 32G（JetPack 6.2）上通过安装脚本将 Ollama 更新到 0.40.8-rc0，随后尝试加载最新模型 Flint。模型加载阶段，Ollama 启动的 llama-server 进程直接退出，返回 HTTP 500。

报错原文

Error: 500 Internal Server Error: llama-server process has terminated: exit status 1: error loading model: unknown model architecture: 'flint'
error loading model: unknown model architecture: 'flint'

原因分析

核心错误是 unknown model architecture: 'flint'，说明当前版本的 llama.cpp 后端不认识 Flint 的模型架构标识。Issue 评论中维护者明确回复：Flint 在 llama.cpp 中尚未被支持，相关支持 PR（ggml-org/llama.cpp#30928）仍在等待 CI 通过后合并。因此这不是 Orin 显卡、显存或 JetPack 的问题，而是 Ollama 所依赖的推理后端版本过旧。

环境排查

• 确认 Ollama 版本是否仍为 0.40.8-rc0，执行 ollama --version 查看实际安装版本。
• 确认目标 Ollama 版本对应的 llama.cpp 是否已包含 Flint 架构支持。
• 确认安装时使用的版本标签是否存在：0.40.9 正式标签返回 404，预发布标签为 0.40.9-rc1。
• Issue 未提供 CUDA、驱动、JetPack 之外的依赖版本，暂不需要优先排查这些项。

解决步骤

1. 先查看当前版本，确认是否仍停留在 0.40.8-rc0：ollama --version。
2. 使用可优先尝试的预发布标签重新安装：curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.40.9-rc1 sh。
3. 不要使用 OLLAMA_VERSION=0.40.9，Issue 中该标签返回 404，安装脚本会因下载失败报 curl: (22) The requested URL returned error: 404。
4. 安装完成后重新拉取或加载 Flint 模型，再次观察 llama-server 是否仍报 architecture 未知。

验证方法

重新运行原先触发报错的模型加载/推理命令，若不再出现 unknown model architecture: 'flint'，且 llama-server 不再以 exit status 1 退出，即表示问题已解决。可同时用 ollama --version 确认版本已切换成功。

参考来源

ollama/ollama #19186

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。