Eval bug: `GGML_ASSERT(ggml_can_mul_mat(a, b)) failed` when –parallel is not power of 2 (embeddinggemma)

问题场景

用户使用 llama-server 加载 embeddinggemma-300M-GGUF 模型，启用 --embeddings 嵌入模式，设置 --parallel 65（非 2 的幂），在 CPU 后端启动服务时直接崩溃，抛出 GGML 矩阵乘法形状断言失败。后续又有用户在更新版本中使用 --parallel 15 搭配 --kv-unified 复现了相同崩溃。

报错原文

ggml/src/ggml.c:3282: GGML_ASSERT(ggml_can_mul_mat(a, b)) failed

原因分析

可能原因：GGML 内部在图构建阶段计算矩阵乘法时，a 和 b 的维度不满足乘法约束。当 --parallel 不是 2 的幂时，某些嵌入（embedding）相关的矩阵运算在并行批处理维度上出现形状不匹配。Issue 创建者提到修复 PR #18536 已经处理了非 unified cache 场景；但后续评论显示，使用 --kv-unified 且 n_ctx（如 16005）无法被 --parallel（如 15）整除时，问题会再次出现。

环境排查

• 确认 llama.cpp 版本（报错版本为 build 7527，后续复现版本未标明具体 build，建议升级到包含 PR #18536 的最新版）。
• 检查 --parallel 是否为 2 的幂（如 1、2、4、8、16、32、64）。
• 检查总上下文长度 -c 能否被 --parallel 整除；若使用 --kv-unified，更需确认该整除关系。
• 在纯 CPU 环境（CUDA_VISIBLE_DEVICES=）下也可复现，排除 GPU 后端特定问题。

解决步骤

1. 将 --parallel 改为 2 的幂，例如将 --parallel 65 改为 --parallel 64，或 --parallel 15 改为 --parallel 16（可优先尝试）。
2. 调整总上下文长度，确保 -c 能被 --parallel 整除。例如 --parallel 15 时，可将 -c 16005 改为 -c 16005 - 5 = 16000 或直接设为 15360（15 的倍数）。
3. 如果不需要并发多序列，可考虑设置 --parallel 1，但注意这会限制服务并发能力。
4. 升级 llama.cpp 到包含 PR #18536 的最新发布版，该 PR 修复了非 unified cache 场景下的部分形状问题。

验证方法

修改参数后重新启动 llama-server，观察启动日志中是否出现 GGML_ASSERT(ggml_can_mul_mat(a, b)) failed 断言。若服务正常启动且 HTTP 端口成功绑定，再发送一个嵌入请求验证推理是否正常返回结果。

参考来源

ggml-org/llama.cpp #18532

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。