快速结论:在 IBM POWER10(ppc64le)上以默认构建使用 llama.cpp 运行 MoE 模型(如 Flint)时,llamafile sgemm(MMA)路径会产生损坏的 prompt 尾部输出,导致回答跑题。优先排查并规避 GGML_LLAMAFILE,或升级到包含上游修复的提交。
适用环境:IBM POWER10 LPAR,4 个虚拟处理器、SMT8(32 线程)、64 GB,纯 CPU;RHEL 10.2,内核 6.12.0 ppc64le,GCC 14.3.1,CMake 3.31.8;llama.cpp commit 5851a8e(2026-11-04),构建参数 -DGGML_NATIVE=ON,CMake 报告 -mcpu=power10;GGML 后端为 CPU;模型为 ggml-org/Flint-GGUF 的 Flint-Q4_K_M.gguf(39.79B MoE)。
最快修复方案:使用带 -DGGML_LLAMAFILE=OFF 的方式重新构建(这是 Issue 中验证过、可得到正确输出的规避方案);Issue 讨论中同时给出了上游修复 PR,可跟进该 PR 合并的版本。
注意事项:关闭 llamafile 会损失该机器上约三分之一的 prompt-processing 速度;该问题只在 Flint 这类 MoE 层上复现,稠密模型(Qwen3-8B Q4_K_M)在默认构建下输出正常。具体是哪个 kernel 或张量类型出错,Issue 作者并未定位;使用上游修复时以其 PR 内容为准。
问题场景
在 IBM POWER10(ppc64le)纯 CPU 环境中,用默认构建(llamafile 开启、-DGGML_NATIVE=ON)编译 llama.cpp 并启动 llama-server,加载 MoE 模型 Flint-Q4_K_M 进行补全或聊天。结果是输出虽然连贯,但答非所问:每个 prompt 的末尾被破坏,开头部分完好。例如 prompt 为“What is 2+2? Answer with just the number.”时,推理把 prompt 引用成“What is 2+2? Answer with just the song’s ‘Frère”。在 temperature 设为 0 时同样可复现,/completion 和 /v1/chat/completions 两个接口均受影响;经 /tokenize 和 /apply-template 检查,分词和聊天模板都正常。
报错原文
Eval bug: POWER10: llamafile sgemm (MMA) produces corrupted output for Flint (MoE); correct with GGML_LLAMAFILE=OFF
原因分析
Issue 的对照实验显示,问题出在 llamafile sgemm 的 POWER10/MMA 路径:默认构建(llamafile 开启)下 Flint 输出损坏,而 -DGGML_LLAMAFILE=OFF 构建下输出正确;同一默认构建运行稠密模型 Qwen3-8B Q4_K_M 正常。说明该路径在 Flint 的 MoE 层上被触发并算错,而稠密模型不会触发。
另一个疑点是输出损坏集中在 prompt 末尾,作者同时试过 -ub 8 -b 512,结果仍然损坏,所以问题可能不在批处理或微批大小本身。具体是哪个 kernel、哪种张量类型出错,Issue 中没有给出结论,只能作为待验证的推测。上游修复见讨论中引用的 PR #32659。
环境排查
- 确认 CPU 架构确实是 ppc64le、CMake 配置输出为 -mcpu=power10,与 Issue 环境一致。
- 确认构建参数是否包含 -DGGML_NATIVE=ON,以及 GGML_LLAMAFILE 处于默认开启还是已关闭。
- 确认 llama.cpp 提交版本:Issue 复现于 5851a8e(2026-11-04),与修复 PR #32659 合入后的版本对比。
- 确认模型为 Flint-Q4_K_M.gguf(39.79B MoE);可先用 Qwen3-8B Q4_K_M 这类稠密模型做对照,判断是否只有 MoE 模型受影响。
- 确认编译器与系统工具链:GCC 14.3.1、CMake 3.31.8、RHEL 10.2、内核 6.12.0。
- Issue 中未提供 Python、CUDA、PyTorch 信息,这些项目与该 CPU 后端问题无关联证据,无需排查。
解决步骤
- 先用 Issue 中给出的最小场景复现,确认现象:
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_NATIVE=ON && cmake --build build -j --target llama-server,再执行build/bin/llama-server -m Flint-Q4_K_M.gguf -t 16 -c 4096 --jinja,然后请求curl -s localhost:8080/completion -d '{"prompt":"The capital of France is","n_predict":12,"temperature":0}'。默认构建下会得到跑题结果(如“10 valid Easter is a holiday…”)。 - 采用 Issue 验证过的规避方案:关闭 llamafile 重新构建,即在 CMake 配置中加入
-DGGML_LLAMAFILE=OFF,然后重新编译llama-server目标。 - 用同样的 curl 请求再测一次,预期输出恢复为正常内容(如“ Paris …”)。
- 若不想长期承受性能损失,跟进讨论中给出的上游修复 PR(ggml-org/llama.cpp #32659),合入后升级构建并重新测试,确认默认构建(llamafile 开启)也能正确输出。
- 修复版本可用后,去掉 -DGGML_LLAMAFILE=OFF,恢复默认构建,再测一次性能与正确性。
验证方法
在 temperature 为 0 的条件下,对同一 prompt(如“The capital of France is”)重复请求,观察 n_predict 输出是否稳定且扣题;同时检查模型在推理中引用的 prompt 尾部是否与原始输入一致,不再出现被替换成无关短语的情况。可分别对 Flint(MoE)和 Qwen3-8B Q4_K_M(稠密)做对照测试,确认 Flint 在关闭 llamafile 或升级修复版后输出正确。
参考来源
ggml-org/llama.cpp #32659(Issue 讨论中引用的修复 PR)
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。
![[Bug] `WebBrowsingManifest.systemRole` caches `Current date` at module load time, causing stale date in Server/Agent Gateway mode](https://www.chat-gpts.plus/wp-content/uploads/2026/11/21627-91a7a9f0-768x403.jpg)
![[bug]: [v7] Idle invokeai-web pins one CPU core at 100% (7.0.0a2-rocm, Radeon AI PRO R9700)](https://www.chat-gpts.plus/wp-content/uploads/2026/11/9998-ab0c8a13-768x403.jpg)
