[Bug]: Cannot load Qwen3.5 models on v0.32.14 with Vulkan backend (Error: 500 Internal Server Error)

问题场景

用户在 Windows 上通过 MSYS2 clang64 环境安装 Ollama v0.32.14，使用 Vulkan 后端加载 qwen3.5:0.8b 模型时，服务器返回 500 Internal Server Error，llama-server 进程在加载阶段退出。该模型在旧版（如 v0.17.x）上可正常运行。

报错原文

Error: 500 Internal Server Error: llama-server process has terminated: exit status 1: error: Failed to load CLIP model from C:\Users\fufu\.ollama\models\blobs\sha256-afb707b6b8fac6e475acc42b
error loading model: error loading model hyperparameters: key qwen35.rope.dimension_sections has wrong array length; expected 4, got 3

原因分析

最可能原因是用户安装的 Ollama 并非官方发布版，而是 MSYS2 打包版。MSYS2 环境中 llama-server 未走官方补丁代码（即 Issue 中提到的 handle_qwen35: detected Ollama-format qwen35 GGUF; applying compatibility fixes 未输出），导致 llama.cpp 无法处理 Ollama 导出 GGUF 中长度为 3 的 qwen35.rope.dimension_sections 数组，而 llama.cpp 期望长度为 4。

此外，用户日志中还存在 ggml_vulkan: Invalid device index 1 in GGML_VK_VISIBLE_DEVICES 及后端初始化失败的提示，但官方版测试后未复现，因此更可能是环境打包差异而非上游模型兼容性问题。

环境排查

• 确认 Ollama 安装来源：官方安装包（ollama.exe）还是 MSYS2 pacman 安装。
• 确认 llama-server 路径：是否位于 C:\Users\<用户>\Downloads\msys64\clang64\lib\ollama\ 等非常规目录。
• 查看 Vulkan 初始化日志：是否有 Invalid device index 或 ggml_backend_init returned NULL。
• 确认 Ollama 版本：ollama -v（v0.32.14）。
• 确认模型文件：ollama pull qwen3.5:0.8b 后检查 blob 哈希是否与报错一致。

解决步骤

1. 卸载当前 MSYS2 环境中的 Ollama。
2. 从 https://ollama.com/download/windows 下载官方 Windows 安装包并安装（可优先尝试）。
3. 启动 Ollama 服务，再次执行 ollama run qwen3.5:0.8b。
4. 若仍失败，检查日志中是否出现 handle_qwen35: detected Ollama-format qwen35 GGUF; applying compatibility fixes 字样，以确认补丁代码已生效。
5. 若 Vulkan 仍报设备索引错误，尝试设置 GGML_VK_VISIBLE_DEVICES=0 或检查显卡驱动。

验证方法

模型能正常加载并进入对话（如回复 “hello”），且日志中无 error loading model 或 llama-server process has terminated 记录。

参考来源

ollama/ollama #17903

上游 llama.cpp 修复参考：llama.cpp PR #25334

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。