Eval bug:

该报错通常出现在 llama.cpp 构建版本升级后加载特定 GGUF 模型时,主要表现为模型加载失败,且该问题在后续新版本中已自行消失,优先排查方向是升级到更新版本或检查模型文件是否损坏。

快速结论:该报错通常出现在 llama.cpp 构建版本升级后加载特定 GGUF 模型时,主要表现为模型加载失败,且该问题在后续新版本中已自行消失,优先排查方向是升级到更新版本或检查模型文件是否损坏。

适用环境:Windows 操作系统;llama.cpp(llama-bench / llama-server);SYCL 与 Vulkan 后端(Intel Arc Pro B70 显卡、AMD Ryzen 9 7900X3D);CUDA 13.3 x64 构建(另一用户反馈);模型为 Ministral-3-14B-Instruct-2512-Q4_K_M 与 Ministral-3-3B-Instruct-2512-Q5_K_M。

最快修复方案:升级到更新版本的 llama.cpp 构建(Issue 中确认 build 10481 已恢复正常加载),暂无其他已验证的一步修复方案。

注意事项:该问题被标记为“bug-unconfirmed”,原始报告者确认 build 10481 已无法复现;另有用户报告在 build 10443 至 10472 之间稳定复现,因此若无法升级,可尝试更换模型或重新下载模型文件。

问题场景

用户在 Windows 上使用 llama.cpp 的 llama-bench 工具加载 Ministral-3-14B-Instruct-2512-Q4_K_M.gguf 模型,分别在 SYCL 后端(Intel Arc Pro B70)和 Vulkan 后端(Intel Arc + AMD 核显)下均触发模型加载失败。另一用户在使用 CUDA 13.3 x64 构建加载 Ministral-3-3B-Instruct-2512-Q5_K_M.gguf 时遇到相同问题。问题从 build 10443 开始出现,持续到 build 10472,但在 build 10481 已无法复现。

报错原文

llama_bench: error: failed to load model 'C:/lms_models/mistralai/Ministral-3-14B-Instruct-2512-GGUF/Ministral-3-14B-Instruct-2512-Q4_K_M.gguf'

llama_model_load: error loading model: error loading model vocabulary: invalid gguf type for tokenizer.ggml.scores

原因分析

可能原因:llama.cpp 在 build 10451 附近发生了与 GGUF 模型词汇表解析相关的回归(regression),导致特定模型(特别是 Ministral-3 系列)的 tokenizer 元数据无法被正确读取。由于该问题在后续版本中自动消失,且原始报告者确认无法在 build 10481 复现,推测是某个上游提交在短时间内被修复或回滚,而非模型文件本身损坏。

环境排查

  • 确认 llama.cpp 构建版本号(build 10443–10472 区间内均可能出现);
  • 确认后端类型(SYCL、Vulkan、CUDA 13.3 x64);
  • 确认模型文件完整性(Ministral-3-14B-Instruct-2512-Q4_K_M.gguf 或 Ministral-3-3B-Instruct-2512-Q5_K_M.gguf);
  • 确认 GPU 驱动版本(Intel Arc Pro B70、AMD Radeon Graphics、NVIDIA CUDA 13.3 环境)。

解决步骤

  1. 升级 llama.cpp 到最新发布版本(Issue 中验证 build 10481 已恢复正常);
  2. 若无法升级,尝试使用 build 10442(commit 9b0a2ce85)之前或 build 10472(commit 27df9199d 之后较远的新版);
  3. 检查模型文件 MD5/SHA 校验和,排除下载不完整的情况;
  4. 若问题仅在特定后端出现,尝试切换其他后端(如从 Vulkan 切到 CPU 或 CUDA)以隔离问题;
  5. 记录复现时的完整日志(包含 --verbose 参数)以供排查。

验证方法

在相同命令下重新运行 llama-bench,观察是否还能输出 failed to load model 错误。若模型成功加载并进入基准测试阶段,说明问题已解决。也可用 llama-clillama-server 尝试加载同一模型,确认是否所有入口都已恢复正常。

参考来源

ggml-org/llama.cpp #27253

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 18940

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注