快速结论:在 llama.cpp 中使用 CUDA/HIP 后端加载 rank-1 LoRA(尤其是作用于 MoE 专家权重的 rank-1 适配器)时,可能触发 Eval bug: Rank-1 LoRA causes crash on load for CUDA/HIP 这类断言崩溃。优先检查 LoRA 的 rank 是否为 1,并将适配器填充到偶数 rank 规避。
适用环境:Issue 已确认的环境为 Linux + HIP 后端,构建参数包含 -DGGML_HIP=ON -DGGML_HIP_ROCWMMA_FATTN=ON,GPU 架构为 gfx1201 和 gfx908。报告使用版本为 0.6.0-dev(commit 4fbc76dec51d0add466f0210855c0596589b60d4),编译器为 GNU 14.2.0。Issue 未提供 Python、PyTorch 或 CUDA 版本信息。
最快修复方案:暂无确认的一步修复方案。Issue 中明确验证过的规避方式是“将 rank-1 LoRA 适配器填充(padding)到偶数 rank”;在未合并修复前,可优先尝试该方法规避断言。
注意事项:填充后需要确认 LoRA 权重布局仍与推理工具预期一致,否则可能影响加载或推理结果。Issue 作者只在 gfx1201 上复现了断言,并用较小的 lfm2moe 模型和合成 rank-1 适配器验证;没有在 24B 原模型、原适配器文件或 gfx908 上完成完整验证。修复 PR 合并前,原命令是否完全恢复正常仍需实测。
问题场景
用户用 llama-completion 加载一个 Q6_K 量化的 LFM2.5-24B-A2B 基础模型,并通过 --lora-scaled 叠加一个 rank-1 的 LoRA 适配器,scaled 值为 1.75。模型和适配器在纯 CPU 下工作正常,但在 CUDA/HIP 后端加载或执行时崩溃。Issue 中该适配器为 rank 1,在 Hugging Face 的 GGUF 预览中可见;崩溃发生在涉及专家权重的 MUL_MAT_ID 路径上。
报错原文
/opt/llama-cpp.src/ggml/src/ggml-cuda/mmvf.cu:427: GGML_ASSERT(ncols % 2 == 0) failed
原因分析
根据 Issue 评论中的分析,rank 是触发条件:在 AMD 设备上,使用 float 权重且 token 数不超过 8 的 MUL_MAT_ID 会进入 MMVF kernel,而该 kernel 要求列数为偶数;rank-1 LoRA 在专家权重上的 lora_b 只有一列,因此不满足 ncols % 2 == 0 的断言条件,导致崩溃。评论提到已有 PR 将该情况切换到现有 fallback 路径,但该 Issue 关闭时未确认修复已合并到用户所用版本。
环境排查
- 确认 llama.cpp 版本/commit:Issue 使用 0.6.0-dev,commit 4fbc76dec51d0add466f0210855c0596589b60d4。
- 确认后端:是否为 CUDA/HIP 构建,是否启用
-DGGML_HIP=ON。 - 确认 GPU 架构:Issue 在 gfx1201 和 gfx908 上均出现,其中 gfx1201 已复现断言。
- 确认 LoRA 的 rank:检查适配器是否为 rank 1,尤其是作用于 MoE 专家权重的
lora_b列数。 - 确认基础模型和 LoRA 文件与 Issue 中一致:LFM2.5-24B-A2B-AD-Q6_K.gguf 与 LFM2.5-24B-A2B-Uncensored-LoRA.gguf。
- 确认 CPU 纯推理是否正常:Issue 中 CPU 仅使用可正常工作,可作为对照。
- Issue 未提供 Python、PyTorch、CUDA 运行库版本,无需据此推断。
解决步骤
- 先用最小命令确认崩溃与 LoRA 相关:在 CUDA/HIP 后端下加载相同基础模型,但去掉
--lora-scaled参数,观察是否仍触发mmvf.cu:427断言。若不再崩溃,可优先怀疑 LoRA rank 路径。 - 检查 LoRA 适配器的 rank。若适配器确为 rank 1,尤其是专家权重上的
lora_b只有一列,可优先尝试将其填充到 rank 2 或更高偶数 rank,即补充零行/零列,确保lora_b列数为偶数。 - 用填充后的适配器重新运行原命令,并观察是否仍报
GGML_ASSERT(ncols % 2 == 0) failed。 - 关注 Issue 评论提到的 PR 进展;如果所用版本尚未包含将 rank-1 情况切换到 fallback 的修复,则等待该修复合并后再直接用原始适配器测试。
- 若运行环境允许,可在评论中提到的 gfx1201 与当前 master 分支上复测;Issue 已在该环境复现,但用的是较小
lfm2moe模型和合成适配器。
验证方法
使用填充后的 rank-2 适配器重新运行 llama-completion,确认不再出现 GGML_ASSERT(ncols % 2 == 0) failed,并且加载与生成能正常完成。Issue 评论表示 rank 2 适配器在专家权重上可以在无修复情况下运行。若要确认原始 rank-1 适配器是否已被修复,需要在包含对应 PR 的版本上使用原命令复测,同时验证输出质量与 CPU 推理结果是否一致。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。
![[Bug]: Groq 401 "Invalid API Key" is mapped to BadRequestError (stored as 400_INVALID_REQUEST)](https://www.chat-gpts.plus/wp-content/uploads/2026/11/51994-9ccf2e47-768x403.jpg)

![[Chore/Refactor] remove redundant-cast](https://www.chat-gpts.plus/wp-content/uploads/2026/11/24645-14ddc40c-768x403.jpg)