dflash/DSpine: lattice crash (ggml_reshape_3d assert) at any draft n_max >= 1 — root cause, fix and verification

该崩溃发生在使用 DSpine 草稿(draft)支持的 llama.cpp 分支版本时,只要 draft 配置为 n_max >= 1 (即 block >= 2),首次生成就会在 build_dspine_lattice 中触发 ggml_reshape_3d 断言失败;优先排查 DSpine

快速结论:该崩溃发生在使用 DSpine 草稿(draft)支持的 llama.cpp 分支版本时,只要 draft 配置为 n_max >= 1(即 block >= 2),首次生成就会在 build_dspine_lattice 中触发 ggml_reshape_3d 断言失败;优先排查 DSpine 补丁中 build_dspine_lattice 的矩阵形状计算,而不是上游 llama.cpp 本身。

适用环境:Issue 中确认的环境为:llama.cpp 的 DSpine 分支补丁(Ajay9o9/llama.cpp,DSpine 提交 0169bf843);两个独立构建验证(b12421 @ 0169bf843、b12481 @ 上游 7f106b545 + 0169bf843);修复后验证使用 4 张 NVIDIA sm_75 显卡。Python、PyTorch、CUDA 具体版本未在 Issue 中给出。

最快修复方案:暂无确认的一步修复方案,因为该 Issue 被关闭的原因是“提交到了错误的仓库”——DSpine 是分支专有补丁,不属于上游代码库。修复记录保留在分支提交历史(lattice fix commit ec47ebbcf)及私有归档仓库(1AntonioOrlo1/dspine)。

注意事项:不要期望在上游 llama.cpp 中修掉此问题;该崩溃属于 fork 补丁缺陷。Issue 中修复已验证可用,但没有提供可直接套用的上游补丁。另外,Issue 备注指出:UD-IQ4_XS 量化与该 draft 不兼容(接受率 0–17%、提示后 2–6 个 token 即出现 EOS);-b 1024 -ub 512 会触发首 token 立即 EOS,应保持 -b 512 -ub 256;不要为 DSpine 设置 --spec-draft-p-min,因为 h_nextn 的第一个 float 是候选 token ID 而非概率。

问题场景

用户在 llama.cpp 的 DSpine 分支补丁版本上,加载目标模型(如 Qwen3.8-27B UD-Q4_K_XL)加 DSpine draft 模型(如 Qwen3.8-27B-DSpine-b16-Q4_K_M)启动 server,首次生成请求即崩溃。崩溃与具体生成内容无关:只要 draft 配置 n_max >= 1(block >= 2)就必现,n_max = 0(即不使用 draft)时不触发。Issue 作者在两种构建上复现,systemd 日志显示 dspine 从未完成过一次评估。

报错原文

ggml_abort: GGML_ASSERT(ggml_nelements(a) == ne0*ne1*ne2) failed
  at ggml_reshape_3d (ggml.c:3760)
  in build_dspine_lattice (src/models/dflash.cpp)
  <- common_speculative_impl_draft_dflash::draft

原因分析

根因在 build_dspine_lattice 中的矩阵形状不匹配:

table = ggml_mul_mat(head, refined);

其中 head 形状为 [n_embd, N],且 N = top_k * n_pos * n_blocks = 32;refined 形状为 [n_embd, top_k, n_pos, n_blocks]。ggml_mul_mat 沿第 0 维收缩,因此结果形状是 [N, top_k, n_pos, n_blocks](共 1024 个元素),而下一步假设的布局是:

ggml_reshape_3d(table, top_k*top_k, n_pos, n_blocks);  // expects 512 elements -> assert

512 ≠ 1024,触发断言。按 Issue 的推导,每个 (p, b) 得分块应为 head_pb^T refined_pb,即 B[k, j] = dot(output_embd(cand_k), refined_state(pred_j));应针对 head 与 refined 的 top_k 列切片分别做 mul_mat,再按 predecessor-major 顺序拼接为 [top_k*top_k, n_pos, n_blocks],与 h_nextn 文档所述的打包布局一致。dspine_stash 的逐层桥接写入与本崩溃无关,未作改动。

环境排查

  • 确认当前使用的是不是 DSpine 分支补丁版本(Ajay9o9/llama.cpp),上游 llama.cpp 不存在此代码路径。
  • 确认 DSpine 补丁是否包含 lattice 修复提交 ec47ebbcf(该提交存在于 fork 提交历史中,不在本仓库)。
  • 确认 draft 配置:n_max >= 1(block >= 2)时是否仍在首次生成崩溃。
  • 确认 draft 模型与目标模型的量化组合:Issue 指出 UD-IQ4_XS 与该 draft 不兼容,即使不启用 draft 也会 0–17% 接受率并在 2–6 个 token 后 EOS。
  • 确认启动参数保持 -b 512 -ub 256;-b 1024 -ub 512 会首 token 即 EOS。
  • 不要为 DSpine 设置 --spec-draft-p-min。
  • Issue 未提供 Python / PyTorch / CUDA 版本,无法据此排查版本兼容性;如自查,仅需确认与所选 llama.cpp 构建一致的编译工具链。

解决步骤

  1. 确认问题来源:该报告提交到了上游 ggml-org/llama.cpp,但 DSpine 是 fork 专有补丁,上游无法修复,应转至 DSpine 分支维护方(Ajay9o9/llama.cpp)处理。
  2. 若使用 fork 构建,拉取或切换到包含 lattice 修复提交 ec47ebbcf 的版本,重新编译。
  3. 若无法获取修复提交,可参照 Issue 根因自行修改 build_dspine_lattice:按 top_k 列切片分别计算 head 与 refined 的 mul_mat,再以 predecessor-major 顺序拼接为 [top_k*top_k, n_pos, n_blocks];此改动为 Issue 描述的方向,未经完整独立复核,可优先尝试。
  4. 使用已验证的参数组合启动:-b 512 -ub 256、--ts 0.95 0.9 0.9 0.5、--cache-type-k q8_0 --cache-type-v q5_1、draft q5_1/q5_1、c 262144、-sm layer、-fa on,先以 n_max = 2 测试。
  5. 若换成 UD_3.1-Q5_K_S + DSpine 组合,显存只够在 --ts 0.9 0.88 0.88 0.35 下运行(Issue 实测 30.1 t/s、72% 接受率)。

验证方法

修复后的构建应在 n_max >= 1 的 draft 配置下完成首次生成而 server 不退出。Issue 在 4 张 NVIDIA sm_75 上给出验证基线:n_max = 2 时约 33.8 t/s 生成速度、pp 约 117.9 t/s、接受率 81%(最优);systemd 端到端运行约 33.6 t/s、接受率 81%(118/146,均值 2.62),请求后 server 保持在线。作为对照,同模型不启用 draft 为 24.6 t/s,n_max = 2 时约提升 37%。若仍出现 ggml_reshape_3d 断言,说明修复未生效或构建未更新。

参考来源

ggml-org/llama.cpp #32509

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注