Eval bug: Loading fail on Gemma 3:12b > llama_model_load: error loading model: error loading model hyperparameters: key not found in model:

快速结论：该报错通常出现在用 llama.cpp 或基于 llama.cpp 的前端（llama-server、LM Studio、RamaLama 等）加载 Gemma 3 GGUF 模型时，模型元数据里缺少 gemma3.attention.layer_norm_rms_epsilon 这个键。优先排查模型文件来源，而不是先怀疑显卡或 Vulkan 后端。

适用环境：Issue 中已确认的信息：Windows；llama.cpp build 4880（2048b591），MSVC 19.43.34808.0 x64；GGML 后端为 Vulkan；硬件为 Intel(R) Iris(R) Xe Graphics，uma: 1，fp16: 1。其他环境（Python、CUDA、PyTorch）Issue 未提供。

最快修复方案：Issue 中有用户反馈改用 ModelScope 上 lmstudio-community 发布的 Gemma 3 GGUF（如 gemma-3-4b-it-GGUF）后可正常加载，可优先尝试更换为同类来源的模型文件。暂无确认的一步修复方案能直接修复 Ollama 来源的模型文件。

注意事项：更换模型来源只是 Issue 中用户反馈的有效路径，并非官方修复；Ollama 有自己的一套模型实现，llama.cpp 维护者在讨论中明确表示 llama.cpp 并不支持直接使用 Ollama 的模型文件，因此换源后仍需验证新文件是否包含完整的 Gemma 3 元数据键。

问题场景

用户在 Windows 上用 llama-server.exe 加载 Gemma 3 12B GGUF 模型，参数含 --no-mmap -c 16384 -np 1 -ngl 50 等，模型路径指向 Ollama 的 blob 目录。加载阶段读取模型元数据后报错退出。讨论中另有用户在使用 Ollama 的 gemma3:4b、gemma3:27b 时复现同类错误，以及在 RamaLama、LM Studio 中加载 Ollama 拉取的 Gemma 3 模型时复现。

报错原文

llama_model_load: error loading model: error loading model hyperparameters: key not found in model: gemma3.attention.layer_norm_rms_epsilon
llama_model_load_from_file_impl: failed to load model
common_init_from_params: failed to load model 'gemma3_27b.gguf'
srv    load_model: failed to load model, 'gemma3_27b.gguf'

原因分析

可能原因：所用 Gemma 3 GGUF 文件缺少 llama.cpp 期望的 gemma3.attention.layer_norm_rms_epsilon 元数据键，导致加载器在读取超参数时找不到该键而失败。从 Issue 日志看，文件元数据中出现了 gemma3.vision.attention.layer_norm_epsilon 等键，但加载器要找的是 attention 层的 layer_norm_rms_epsilon，说明模型文件与当前 llama.cpp 的 Gemma 3 实现不完全匹配。讨论中多位参与者指向 Ollama 打包的 Gemma 3 模型文件，llama.cpp 维护者也明确表示 llama.cpp 不支持 Ollama 的模型文件。另有参与者提到可能与 #12857 相关。

环境排查

确认 llama.cpp 版本与构建号（本 Issue 为 build 4880），不同构建对 Gemma 3 元数据键的要求可能不同。
确认模型文件来源：Ollama blob、ModelScope/lmstudio-community、Hugging Face 等，来源不同元数据可能不同。
确认模型架构与规模是否为 Gemma 3（12B、27B 等均有人复现）。
后端：Vulkan 后端在 Issue 中被使用，但该报错发生在模型加载的超参数阶段，与后端计算关联不大，可先不作为首要排查项。
Issue 未提供 Python、CUDA、PyTorch 版本信息，无需据此排查。

解决步骤

优先尝试更换模型文件来源：Issue 中用户反馈从 ModelScope 下载 lmstudio-community 发布的 Gemma 3 GGUF 后可以正常加载，例如讨论中给出的 modelscope download --local_dir $PWD lmstudio-community/gemma-3-4b-it-GGUF --include *Q4_K_M*，随后用 ./llama-cli -m <模型路径> -ngl 999 测试。该验证针对 4B 模型，12B/27B 需自行确认同系列文件是否完整。
避免直接把 Ollama 的 blob 文件作为 -m 参数喂给 llama.cpp：维护者说明 llama.cpp 不支持 Ollama 模型文件，改用 llama.cpp 生态可直接加载的 GGUF 发布版本。
若使用 LM Studio 等第三方前端，确认其内置的 llama.cpp 版本是否与模型元数据要求匹配；该报错也在 LM Studio 加载 Ollama 拉取的 gemma3:27b 时出现。
若更换模型后仍报同样的 key not found，记录新的模型来源与元数据输出，向对应模型发布方反馈，而不是继续调整 -ngl、线程数等运行参数。

验证方法

用更换后的 GGUF 启动 llama-cli 或 llama-server，观察模型加载阶段是否越过 llama_model_loader 并进入推理；若不再出现 key not found in model: gemma3.attention.layer_norm_rms_epsilon 且能正常响应请求，即说明是原模型文件元数据问题。Issue 中已有用户以 ModelScope 来源模型成功加载作为验证。