Eval bug: Rank-1 LoRA causes crash on load for CUDA/HIP

在 llama.cpp 中使用 CUDA/HIP 后端加载 rank-1 LoRA(尤其是作用于 MoE 专家权重的 rank-1 适配器)时,可能触发 Eval bug: Rank-1 LoRA causes crash on load for CUDA/HIP 这类断言崩溃。优先检查 LoRA

快速结论:在 llama.cpp 中使用 CUDA/HIP 后端加载 rank-1 LoRA(尤其是作用于 MoE 专家权重的 rank-1 适配器)时,可能触发 Eval bug: Rank-1 LoRA causes crash on load for CUDA/HIP 这类断言崩溃。优先检查 LoRA 的 rank 是否为 1,并将适配器填充到偶数 rank 规避。

适用环境:Issue 已确认的环境为 Linux + HIP 后端,构建参数包含 -DGGML_HIP=ON -DGGML_HIP_ROCWMMA_FATTN=ON,GPU 架构为 gfx1201 和 gfx908。报告使用版本为 0.6.0-dev(commit 4fbc76dec51d0add466f0210855c0596589b60d4),编译器为 GNU 14.2.0。Issue 未提供 Python、PyTorch 或 CUDA 版本信息。

最快修复方案:暂无确认的一步修复方案。Issue 中明确验证过的规避方式是“将 rank-1 LoRA 适配器填充(padding)到偶数 rank”;在未合并修复前,可优先尝试该方法规避断言。

注意事项:填充后需要确认 LoRA 权重布局仍与推理工具预期一致,否则可能影响加载或推理结果。Issue 作者只在 gfx1201 上复现了断言,并用较小的 lfm2moe 模型和合成 rank-1 适配器验证;没有在 24B 原模型、原适配器文件或 gfx908 上完成完整验证。修复 PR 合并前,原命令是否完全恢复正常仍需实测。

问题场景

用户用 llama-completion 加载一个 Q6_K 量化的 LFM2.5-24B-A2B 基础模型,并通过 --lora-scaled 叠加一个 rank-1 的 LoRA 适配器,scaled 值为 1.75。模型和适配器在纯 CPU 下工作正常,但在 CUDA/HIP 后端加载或执行时崩溃。Issue 中该适配器为 rank 1,在 Hugging Face 的 GGUF 预览中可见;崩溃发生在涉及专家权重的 MUL_MAT_ID 路径上。

报错原文

/opt/llama-cpp.src/ggml/src/ggml-cuda/mmvf.cu:427: GGML_ASSERT(ncols % 2 == 0) failed

原因分析

根据 Issue 评论中的分析,rank 是触发条件:在 AMD 设备上,使用 float 权重且 token 数不超过 8 的 MUL_MAT_ID 会进入 MMVF kernel,而该 kernel 要求列数为偶数;rank-1 LoRA 在专家权重上的 lora_b 只有一列,因此不满足 ncols % 2 == 0 的断言条件,导致崩溃。评论提到已有 PR 将该情况切换到现有 fallback 路径,但该 Issue 关闭时未确认修复已合并到用户所用版本。

环境排查

  • 确认 llama.cpp 版本/commit:Issue 使用 0.6.0-dev,commit 4fbc76dec51d0add466f0210855c0596589b60d4。
  • 确认后端:是否为 CUDA/HIP 构建,是否启用 -DGGML_HIP=ON。
  • 确认 GPU 架构:Issue 在 gfx1201 和 gfx908 上均出现,其中 gfx1201 已复现断言。
  • 确认 LoRA 的 rank:检查适配器是否为 rank 1,尤其是作用于 MoE 专家权重的 lora_b 列数。
  • 确认基础模型和 LoRA 文件与 Issue 中一致:LFM2.5-24B-A2B-AD-Q6_K.gguf 与 LFM2.5-24B-A2B-Uncensored-LoRA.gguf。
  • 确认 CPU 纯推理是否正常:Issue 中 CPU 仅使用可正常工作,可作为对照。
  • Issue 未提供 Python、PyTorch、CUDA 运行库版本,无需据此推断。

解决步骤

  1. 先用最小命令确认崩溃与 LoRA 相关:在 CUDA/HIP 后端下加载相同基础模型,但去掉 --lora-scaled 参数,观察是否仍触发 mmvf.cu:427 断言。若不再崩溃,可优先怀疑 LoRA rank 路径。
  2. 检查 LoRA 适配器的 rank。若适配器确为 rank 1,尤其是专家权重上的 lora_b 只有一列,可优先尝试将其填充到 rank 2 或更高偶数 rank,即补充零行/零列,确保 lora_b 列数为偶数。
  3. 用填充后的适配器重新运行原命令,并观察是否仍报 GGML_ASSERT(ncols % 2 == 0) failed。
  4. 关注 Issue 评论提到的 PR 进展;如果所用版本尚未包含将 rank-1 情况切换到 fallback 的修复,则等待该修复合并后再直接用原始适配器测试。
  5. 若运行环境允许,可在评论中提到的 gfx1201 与当前 master 分支上复测;Issue 已在该环境复现,但用的是较小 lfm2moe 模型和合成适配器。

验证方法

使用填充后的 rank-2 适配器重新运行 llama-completion,确认不再出现 GGML_ASSERT(ncols % 2 == 0) failed,并且加载与生成能正常完成。Issue 评论表示 rank 2 适配器在专家权重上可以在无修复情况下运行。若要确认原始 rank-1 适配器是否已被修复,需要在包含对应 PR 的版本上使用原命令复测,同时验证输出质量与 CPU 推理结果是否一致。

参考来源

ggml-org/llama.cpp #30576

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 35370

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注