Eval bug: Plamo2 weights shape mismatch

Eval bug: Plamo2 weights shape mismatch

快速结论：该报错通常在将 Plamo2 模型从 Hugging Face safetensors 格式转换为 GGUF 并加载推理时发生，优先排查转换脚本版本或 GGUF 文件完整性。

问题场景

用户使用 llama.cpp 的 convert_to_gguf.py 脚本将 Plamo2 系列模型从 Hugging Face safetensors 格式转换为 GGUF 格式后，通过 llama-cli 加载模型进行推理时触发了权重形状不匹配的错误。

报错原文

0.00.750.745 E llama_model_load: error loading model: check_tensor_dims: tensor 'blk.1.attn_qkv.weight' has wrong shape; expected   2048,      0, got   2048,   2304,      1,      1

原因分析

可能原因：模型转换过程中存在缺陷，导致 GGUF 文件中的张量 shape 与实际预期不符。该问题已在 #24317 中修复，当前 Issue 已关闭。

环境排查

• llama.cpp 版本：9469 (d178a1181)
• 操作系统：Windows
• GGML 后端：Vulkan, CPU
• 硬件：Intel Ultra Core
• Python 版本（运行转换脚本时）

解决步骤

1. 确认 llama.cpp 已更新至包含 #24317 修复的最新版本（可优先尝试）。
2. 删除旧生成的 GGUF 文件，重新运行转换脚本：python convert_to_gguf.py <PATH_TO_HF_FOLDER> --outfile <OUTPUT_PATH/FILENAME.gguf> --outtype fp32
3. 重新加载模型：./llama-cli -m <OUTPUT_PATH/FILENAME.gguf> -p "What are you doing?" --temp 1.0 --top-k 50 --top-p 0.95

验证方法

模型成功加载，无 shape 相关报错，推理正常进行。

参考来源

ggml-org/llama.cpp #24067

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。