Crash loading cohere2moe model with –moe-cache-mib and KV cache q8_0 (0xC0000409)

这个报错发生在 llama.cpp 加载 cohere2moe 架构模型(如 North Mini Code 1.0)且同时启用 --moe-cache-mib 与量化 KV 缓存(q8_0)时,进程在内存/计算图预留阶段即崩溃(Windows 上表现为 0xC0000409,Linux 上表现为

快速结论:这个报错发生在 llama.cpp 加载 cohere2moe 架构模型(如 North Mini Code 1.0)且同时启用 --moe-cache-mib 与量化 KV 缓存(q8_0)时,进程在内存/计算图预留阶段即崩溃(Windows 上表现为 0xC0000409,Linux 上表现为 GGML_ASSERT 失败)。优先排查这两项参数的组合,而不是缓存大小本身。

适用环境:Issue 中确认的环境:llama.cpp b12476(LM Studio runtime v2.78.0)、Windows、CUDA 12、GPU 为 RTX 3050 Laptop 4GB;复现评论使用 llama.cpp b12558、Linux。模型为 cohere2moe 架构的 North Mini Code 1.0 UD-IQ4_NL.gguf(30B 总参数 / 3B 激活 / 49 层)。

最快修复方案:暂无确认的一步修复方案。根据 Issue 中的对照测试,可优先尝试避开“--moe-cache-mib + KV cache q8_0”的组合:将 KV 缓存改为 f16,或去掉 --moe-cache-mib。

注意事项:上述规避方式来自用户自测的对照结果,Issue 标签为 bug-unconfirmed,根因尚未被维护者确认;改为 f16 会增加 KV 缓存显存占用,在 4GB 显存上可能又引发新的内存不足问题。

问题场景

用户通过 LM Studio 加载 cohere2moe 架构模型(North Mini Code 1.0 UD-IQ4_NL.gguf),设置 --moe-cache-mib 2048 并启用 q8_0 量化 KV 缓存。启动时 llama-server 立即退出,退出码 3221226505(0xC0000409)。同样的设置在 KV 缓存为 f16、或去掉 --moe-cache-mib 时均能正常加载;用独立 llama-server b12383 加 --moe-cache-mib 2048(KV 默认 f16)也能加载并解码约 13-14 tok/s。

报错原文

Crash loading cohere2moe model with --moe-cache-mib and KV cache q8_0 (0xC0000409)

llama-server exits immediately, exit code 3221226505 (0xC0000409, STATUS_STACK_BUFFER_OVERRUN)

GGML_ASSERT(obj_new) failed
  ... ggml_new_tensor
  ... ggml_mul
  ... llm_graph_context::build_norm
  ... llama_model_cohere2moe::graph
  ... llama_context::graph_reserve
  ... llama_context::sched_reserve

原因分析

崩溃发生在 llama_context::graph_reserve → llama_model_cohere2moe::graph → build_norm → ggml_mul 路径中,即计算图预留阶段张量创建失败(Linux 日志为 GGML_ASSERT(obj_new) failed,Windows 表现为 0xC0000409)。用户已排除缓存大小调整(2048 仍崩溃)、--load-mode none、单独去掉 --moe-cache-cpu-share 等因素,并确认其他 MoE 模型(Gemma 4 26B、Qwen3.6-35B)在相同构建下使用 --moe-cache-mib + KV q8_0 正常。

可能原因:cohere2moe 架构的计算图构建与“MoE 专家缓存 + 量化 KV 缓存”组合存在交互问题,导致张量尺寸/类型计算异常。这只是基于对照测试的推测,Issue 中尚无维护者确认的根因结论。

环境排查

  • 确认 llama.cpp 版本(Issue 中受影响为 b12476/b12558;b12383 独立运行时未复现)。
  • 确认运行载体是 LM Studio runtime(v2.78.0)还是独立 llama-server,两者参数默认值可能不同。
  • 确认 KV 缓存类型是否为 q8_0,以及是否显式传入了 --moe-cache-mib。
  • 确认后端为 CUDA 12、GPU 显存情况(RTX 3050 Laptop 4GB)。
  • 确认模型架构为 cohere2moe,并对比其他 MoE 模型是否正常,以缩小架构特异性的范围。

解决步骤

  1. 先保持 --moe-cache-mib 2048 不变,将 KV 缓存从 q8_0 改为 f16,重新加载模型验证是否恢复。
  2. 若显存吃紧,反过来保留 KV cache q8_0,去掉 --moe-cache-mib,验证能否正常加载。
  3. 如需继续使用 MoE 专家缓存,暂时用独立 llama-server(Issue 中 b12383)配合默认 f16 KV 缓存运行,作为过渡方案。
  4. 在相同构建下用其他 MoE 模型做对照,确认问题只出现在 cohere2moe + MoE 缓存 + 量化 KV 的组合上。
  5. 如仍失败,保留完整启动日志(含版本号、完整参数、GGML_ASSERT 栈)用于反馈。

验证方法

模型能进入加载完成状态、llama-server 不再立即退出,且能正常生成 token;对照测试中应在相同参数下观察是否仍出现 0xC0000409 或 GGML_ASSERT(obj_new) failed。建议分别记录“q8_0 + moe-cache”“f16 + moe-cache”“q8_0 无 moe-cache”三种组合的结果,以确认参数组合与崩溃的对应关系。

参考来源

ggml-org/llama.cpp #32584

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36203

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注