Eval bug: Significant performance difference between llama-prism and main llama.cpp builds (same base version)

快速结论：该报错表现为同一模型、同一参数下，llama-prism 分支与 main llama.cpp 构建出现 2-3 倍吞吐差异（Eval bug: Significant performance difference between llama-prism and main llama.cpp builds (same base version)）。优先排查的并不是参数问题，而是旧版本基线本身：报告者对比的 b10754 已明显落后，升级到最新 main 构建后，性能反而优于 Prism 构建。

适用环境：Windows；CUDA 12.4 x64 构建；显卡 RTX 3090，CPU Ryzen 9 5900X；对比构建为 llama-prism-b10754-2459f68、llama-b10754 与 llama-b11829（均为 bin-win-cuda-12.4-x64）；模型为 Qwen3.8-27B (Q4_K_M) with MTP；运行方式为 llama-server，使用 –spec-type draft-mtp、Flash Attention auto、K/V cache 均为 q8_0。

最快修复方案：用较新的官方 llama.cpp 构建重新测试，并与 Prism 分支做同参数对比。Issue 中报告者确认最新版本“比之前效果最好的 Prism 构建还要好”。

注意事项：Issue 未提供具体的最新版本号，也没有给出完整复测数据；“升级即修复”的结论来自报告者本人回帖，并非维护者给出的一步式方案。不同 CUDA/SYCL 后端的结果可能不一致，建议在自有硬件上复测后再定论。

问题场景

用户在 Windows 上使用 llama.cpp 的 llama-server 运行 Qwen3.8-27B (Q4_K_M) 并启用 MTP 投机解码（–spec-type draft-mtp），用完全相同的命令行参数分别启动 llama-prism 分支构建和 main 仓库构建。结果 main 构建的 prompt eval 与生成速度明显偏低，总耗时约为 Prism 构建的 4 倍。用户据此怀疑 main 仓库存在性能回归，或 Prism 分支包含未合并的性能改动。

报错原文

Eval bug: Significant performance difference between llama-prism and main llama.cpp builds (same base version)

llama-prism b10754:
Prompt eval: 1085 t/s (28,227 tokens)
Generation: 54.47 t/s
Draft acceptance: 70.86%
Total: 34.3s

llama.cpp b10754:
Prompt eval: 452 t/s (50,040 tokens)
Generation: 16.60 t/s
Draft acceptance: 68.32%
Total: 139.5s

原因分析

Issue 讨论最终没有确认 Prism 分支与 main 之间存在具体代码级性能回归。可能的解释是：被对比的 b10754 属于较早的发布版本，基线过旧，因此当时 Prism 分支在该版本上相对 main 的差异，不能代表当前 main 的性能水平。

需要注意，用户记录的 Prism 与 main 在 prompt eval 阶段处理的总 token 数并不相同（28,227 对 50,040），这说明两组测试并非完全可比的等价条件，该数据可能受上下文长度或缓存状态影响。评论者用较新的 commit（f5027fb2）在 CUDA 与 SYCL 上复测后发现结果相反：Prism 分支在 MTP、prefill、decode 各方面都更差。因此，“main 存在回归”这一结论在 Issue 关闭时并未得到证实。

环境排查

确认 llama.cpp 构建版本是否为最新发布；b10754 已被指出明显落后，当前主线已到 0.7.0 系列。
确认对比双方是否使用同一模型文件、同一量化格式（Q4_K_M）与同一 MTP 头部。
确认三组测试的上下文长度、prompt 内容及缓存状态一致，避免 prompt eval token 数不一致导致误判。
确认 CUDA 版本（12.4）与显卡驱动匹配 RTX 3090，且构建类型一致（bin-win-cuda-12.4-x64）。
确认 Flash Attention、K/V cache 量化（q8_0）与投机解码参数在各构建中完全一致。
如需对比 SYCL 后端，应单独复测，不能直接套用 CUDA 下的结论。

解决步骤

记录当前 Prism 构建的实测指标，作为对照基线（prompt eval t/s、generation t/s、draft acceptance、总耗时）。
下载官方 llama.cpp 最新发布构建（Windows CUDA 12.4 x64），不要继续使用 b10754 一类旧版本。
使用与对照基线完全相同的 llama-server 参数启动，重点保持 –ctx-size、–n-gpu-layers、–flash-attn、K/V cache 类型、–spec-type draft-mtp 与投机解码参数不变。
确保各组测试使用相同的 prompt 长度与内容，并检查 prompt eval 阶段的 token 数是否一致，排除缓存与上下文差异。
在相同硬件上重复多轮测试，取稳定值对比，而不是只跑一次。
若最新官方构建仍明显慢于 Prism 构建，再收集完整日志、构建版本号与复现命令，向 Issue 补充新数据。

验证方法

使用最新官方构建复测后，prompt eval 与 generation 速度应不低于或接近此前最佳的 Prism 构建（Issue 中报告者反馈新版本“甚至更好”）。同时确认 draft acceptance 保持在相近水平，且各组测试的 prompt eval token 数一致，避免因输入差异造成误判。