Eval bug: POWER10: llamafile sgemm (MMA) produces corrupted output for Flint (MoE); correct with GGML_LLAMAFILE=OFF

在 IBM POWER10(ppc64le)上以默认构建使用 llama.cpp 运行 MoE 模型(如 Flint)时,llamafile sgemm(MMA)路径会产生损坏的 prompt 尾部输出,导致回答跑题。优先排查并规避 GGML_LLAMAFILE,或升级到包含上游修复的提交。

快速结论:在 IBM POWER10(ppc64le)上以默认构建使用 llama.cpp 运行 MoE 模型(如 Flint)时,llamafile sgemm(MMA)路径会产生损坏的 prompt 尾部输出,导致回答跑题。优先排查并规避 GGML_LLAMAFILE,或升级到包含上游修复的提交。

适用环境:IBM POWER10 LPAR,4 个虚拟处理器、SMT8(32 线程)、64 GB,纯 CPU;RHEL 10.2,内核 6.12.0 ppc64le,GCC 14.3.1,CMake 3.31.8;llama.cpp commit 5851a8e(2026-11-04),构建参数 -DGGML_NATIVE=ON,CMake 报告 -mcpu=power10;GGML 后端为 CPU;模型为 ggml-org/Flint-GGUF 的 Flint-Q4_K_M.gguf(39.79B MoE)。

最快修复方案:使用带 -DGGML_LLAMAFILE=OFF 的方式重新构建(这是 Issue 中验证过、可得到正确输出的规避方案);Issue 讨论中同时给出了上游修复 PR,可跟进该 PR 合并的版本。

注意事项:关闭 llamafile 会损失该机器上约三分之一的 prompt-processing 速度;该问题只在 Flint 这类 MoE 层上复现,稠密模型(Qwen3-8B Q4_K_M)在默认构建下输出正常。具体是哪个 kernel 或张量类型出错,Issue 作者并未定位;使用上游修复时以其 PR 内容为准。

问题场景

在 IBM POWER10(ppc64le)纯 CPU 环境中,用默认构建(llamafile 开启、-DGGML_NATIVE=ON)编译 llama.cpp 并启动 llama-server,加载 MoE 模型 Flint-Q4_K_M 进行补全或聊天。结果是输出虽然连贯,但答非所问:每个 prompt 的末尾被破坏,开头部分完好。例如 prompt 为“What is 2+2? Answer with just the number.”时,推理把 prompt 引用成“What is 2+2? Answer with just the song’s ‘Frère”。在 temperature 设为 0 时同样可复现,/completion 和 /v1/chat/completions 两个接口均受影响;经 /tokenize 和 /apply-template 检查,分词和聊天模板都正常。

报错原文

Eval bug: POWER10: llamafile sgemm (MMA) produces corrupted output for Flint (MoE); correct with GGML_LLAMAFILE=OFF

原因分析

Issue 的对照实验显示,问题出在 llamafile sgemm 的 POWER10/MMA 路径:默认构建(llamafile 开启)下 Flint 输出损坏,而 -DGGML_LLAMAFILE=OFF 构建下输出正确;同一默认构建运行稠密模型 Qwen3-8B Q4_K_M 正常。说明该路径在 Flint 的 MoE 层上被触发并算错,而稠密模型不会触发。

另一个疑点是输出损坏集中在 prompt 末尾,作者同时试过 -ub 8 -b 512,结果仍然损坏,所以问题可能不在批处理或微批大小本身。具体是哪个 kernel、哪种张量类型出错,Issue 中没有给出结论,只能作为待验证的推测。上游修复见讨论中引用的 PR #32659。

环境排查

  • 确认 CPU 架构确实是 ppc64le、CMake 配置输出为 -mcpu=power10,与 Issue 环境一致。
  • 确认构建参数是否包含 -DGGML_NATIVE=ON,以及 GGML_LLAMAFILE 处于默认开启还是已关闭。
  • 确认 llama.cpp 提交版本:Issue 复现于 5851a8e(2026-11-04),与修复 PR #32659 合入后的版本对比。
  • 确认模型为 Flint-Q4_K_M.gguf(39.79B MoE);可先用 Qwen3-8B Q4_K_M 这类稠密模型做对照,判断是否只有 MoE 模型受影响。
  • 确认编译器与系统工具链:GCC 14.3.1、CMake 3.31.8、RHEL 10.2、内核 6.12.0。
  • Issue 中未提供 Python、CUDA、PyTorch 信息,这些项目与该 CPU 后端问题无关联证据,无需排查。

解决步骤

  1. 先用 Issue 中给出的最小场景复现,确认现象:cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_NATIVE=ON && cmake --build build -j --target llama-server,再执行 build/bin/llama-server -m Flint-Q4_K_M.gguf -t 16 -c 4096 --jinja,然后请求 curl -s localhost:8080/completion -d '{"prompt":"The capital of France is","n_predict":12,"temperature":0}'。默认构建下会得到跑题结果(如“10 valid Easter is a holiday…”)。
  2. 采用 Issue 验证过的规避方案:关闭 llamafile 重新构建,即在 CMake 配置中加入 -DGGML_LLAMAFILE=OFF,然后重新编译 llama-server 目标。
  3. 用同样的 curl 请求再测一次,预期输出恢复为正常内容(如“ Paris …”)。
  4. 若不想长期承受性能损失,跟进讨论中给出的上游修复 PR(ggml-org/llama.cpp #32659),合入后升级构建并重新测试,确认默认构建(llamafile 开启)也能正确输出。
  5. 修复版本可用后,去掉 -DGGML_LLAMAFILE=OFF,恢复默认构建,再测一次性能与正确性。

验证方法

在 temperature 为 0 的条件下,对同一 prompt(如“The capital of France is”)重复请求,观察 n_predict 输出是否稳定且扣题;同时检查模型在推理中引用的 prompt 尾部是否与原始输入一致,不再出现被替换成无关短语的情况。可分别对 Flint(MoE)和 Qwen3-8B Q4_K_M(稠密)做对照测试,确认 Flint 在关闭 llamafile 或升级修复版后输出正确。

参考来源

ggml-org/llama.cpp #31680

ggml-org/llama.cpp #32659(Issue 讨论中引用的修复 PR)

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36596

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注