快速结论:在 Windows 上通过 Ollama 加载 Inkling 2 Mini 的 GGUF 转换版时,内置的 llama-server 在加载阶段(load phase)不识别该模型架构和 projector(投影器),因此加载失败;优先确认 Ollama 捆绑的 llama.cpp 是否已包含对应支持。
适用环境:操作系统 Windows 11;Ollama 0.40.17;CPU 为 AMD;显卡为 Other(并非明确的 N 卡型号);模型来源为 Hugging Face 上 ggml-org 与 Unsloth 的 GGUF 仓库,以及 Ollama 官方库的 MLX 版本。
最快修复方案:暂无确认的一步修复方案。Issue 中维护者明确表示,需要等 llama.cpp PR 合并,并让 Ollama 的 LLAMA_CPP_VERSION 推进到合并点之后,GGUF 版 Inkling 才会被支持。
注意事项:维护者给出的 Windows MLX 运行时方案要求 Nvidia 设备且显存超过 24G,且在非 macOS 平台上 MLX 仍属实验性;发起该 Issue 的用户没有 Nvidia 设备,最终选择等待 llama.cpp 合并,因此该方案在本 Issue 中并未被实际验证成功。
问题场景
用户在 Windows 11 上使用 Ollama 运行 Thinking Machines Lab 的 Inkling 2 Mini(26B)本地模型。由于 ollama.com 提供的版本目前只支持 MLX,用户改从 Hugging Face 拉取 GGUF 模型:先试 hf.co/ggml-org/Inkling-2-Mini-GGUF:Q8_0,再试 hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q8_K_XL。两个仓库都能完整下载,SHA256 校验通过,manifest 也正常写入,但在推理服务器加载模型阶段,进程以 exit status 1 退出。用户另外尝试官方库的 inkling-2-mini 与 inkling-2-mini:26b-a5b,则因 Windows 无 MLX 运行时而失败。
报错原文
Error: 500 Internal Server Error: llama-server process has terminated: exit status 1:
error: load_hparams: unknown projector type: inkling2v
error loading model: unknown model architecture: 'inkling2_loop'
error loading model: unknown model architecture: 'inkling2_loop'
Error: 500 Internal Server Error: llama-server process has terminated: exit status 1:
error: load_hparams: unknown projector type: inkling2v
error loading model: unknown model architecture: 'inkling2'
error loading model: unknown model architecture: 'inkling2'
pulling manifest
Error: this model requires MLX support, but the MLX runtime is not available
原因分析
最可能的原因是 Ollama 内置的 llama-server(基于捆绑的 llama.cpp)尚未包含 Inkling 2 Mini 所需的模型架构和多模态 projector 支持。报错中同时出现 unknown projector type: inkling2v 与 unknown model architecture: 'inkling2_loop' / 'inkling2',说明加载器在读取超参数(hparams)时无法识别这两类元信息。由于 ggml-org 与 Unsloth 两个不同来源的 GGUF 都复现了同样问题,可以排除单一 GGUF 仓库转换或下载损坏的因素(用户的 SHA256 校验也通过)。Issue 中附带了相关的 llama.cpp 工作 PR(#32695、#32704),维护者的结论也与之一致:支持要等这些上游改动进入 Ollama 的 LLAMA_CPP_VERSION。
环境排查
- 确认 Ollama 版本:Issue 中为 0.40.17;需检查当前版本捆绑的 LLAMA_CPP_VERSION 是否已推进到 llama.cpp PR #32695 合并点之后。
- 确认模型来源与量化格式:
hf.co/ggml-org/Inkling-2-Mini-GGUF:Q8_0与hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q8_K_XL均会触发,说明问题不在某个特定仓库。 - 确认下载完整性:Issue 中下载完成、SHA256 校验成功、manifest 写入成功,可用来排除传输损坏。
- 确认硬件与运行时:MLX 路线需要 Nvidia 设备且显存超过 24G;Windows 默认不带 MLX runtime。
- Issue 未提供 Python、CUDA、PyTorch 等版本信息,不建议以这些项作为首要排查方向。
解决步骤
- 先不要反复重下 GGUF 模型。下载与校验均已成功,重复拉取不会改变
unknown model architecture的加载失败结果。 - 查询当前 Ollama 版本对应的
LLAMA_CPP_VERSION,并对照 llama.cpp PR #32695 的合并状态,判断捆绑的 llama.cpp 是否已经具备 Inkling 2 的架构和 projector 支持。 - 若尚未包含支持,等待 Ollama 发布 LLAMA_CPP_VERSION 推进后的版本,再重新尝试
ollama run hf.co/ggml-org/Inkling-2-Mini-GGUF:Q8_0(或 Unsloth 对应标签)。 - 若你有 Nvidia 设备且显存大于 24G,可优先尝试维护者提到的 Windows MLX runtime 包(
ollama-windows-amd64-mlx.zip),并运行 MLX 版本的inkling-2-mini;注意该组合在非 macOS 上属实验性,且本 Issue 中未由 Windows 用户实际验证。 - 不要依赖官方库 MLX 模型在无 MLX runtime 的 Windows 环境中运行;在缺少该运行时的环境中,这条路径本身就是失败的。
验证方法
在升级到包含对应 llama.cpp 支持的 Ollama 版本后,重新执行 ollama run hf.co/ggml-org/Inkling-2-Mini-GGUF:Q8_0,若模型能够越过加载阶段并正常进入对话,且不再出现 unknown projector type: inkling2v 或 unknown model architecture,即说明问题已解决。若仍报同样的加载错误,说明当前版本捆绑的 llama.cpp 仍未包含支持,需要继续等待版本更新,而不是排查模型文件本身。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


