快速结论:在 llama.cpp 的 llama-server 开启 unified KV(-kvu)并处理并发请求时,从 CPU 内存恢复 prompt cache 到 GPU 可能导致其他活跃流卡顿。优先排查 prompt-cache 恢复阶段的 CUDA 传输路径和版本。
适用环境:Issue 中确认的环境为 Windows 11、RTX 5090、CUDA 13.4.92、NVIDIA 驱动 617.42、llama.cpp master 提交 61dbf49、AIPerf 0.13.0。模型使用 Llama3.1-8B Q4_K_M 和 Qwen3.8-27B Q4_K_M。
最快修复方案:升级到包含 PR #32489 的 llama.cpp 版本;该 Issue 已通过此 PR 修复。
注意事项:Issue 标签为 bug-unconfirmed,修复验证细节未在正文中完整展开;若升级后仍有卡顿,需结合日志和并发负载继续排查。
问题场景
用户在 Windows 上运行 llama-server,使用 Llama3.1-8B 或 Qwen3.8-27B 模型,开启 -fa on、-ctk q8_0、-ctv q8_0、-np 多槽位和 -kvu(unified KV),并通过 AIPerf 发起多轮并发对话请求。服务器在槽位复用并选中缓存 prompt 时,发生 CPU→GPU prompt-cache 恢复,导致其他活跃请求的流式输出出现停顿。
报错原文
Misc. bug: CPU→GPU prompt-cache restores can stall inference during concurrent requests with unified KV enabled.
原因分析
根据讨论,恢复路径在 CUDA 的 set_tensor_n 中针对高度分散的 unified KV 场景,仍按每个连续单元段和每个层发起 cudaMemcpyAsync,最后再统一同步。与已经有 gather kernel 的 get_tensor_n(PR #31391)相比,CPU→GPU 方向的 scatter 操作没有专用 kernel,可能导致恢复期间阻塞其他推理请求。后续 PR #32489 为 set_n API 实现了可高效 scatter 的 kernel,从而修复该问题。
环境排查
- 确认 llama.cpp 版本或提交是否早于 PR #32489 合入。
- 确认 llama-server 启动参数是否包含 -kvu、-np、-fa on 以及 Q8_0 K/V 缓存设置。
- 确认 CUDA 与 NVIDIA 驱动版本是否与当前构建兼容;Issue 环境为 CUDA 13.4.92、驱动 617.42,但这不是唯一触发条件。
- 确认并发负载是否会产生 CPU prompt-cache 恢复,例如多轮对话、槽位复用和缓存命中。
解决步骤
- 将 llama.cpp 升级到包含 PR #32489 的版本。该 Issue 在 2026-11-19 关闭,并注明由 PR #32489 修复。
- 升级后使用原有 llama-server 启动参数重新运行并发测试,重点观察 CPU→GPU prompt-cache 恢复期间是否仍有活跃流停顿。
- 如果暂时无法升级,可优先尝试降低并发槽位数量、减少多轮缓存命中,或关闭 unified KV 以规避该路径;这些属于推测性规避方式,Issue 未明确验证。
- 如需跟踪恢复耗时,可关注后续服务端在 trace 级别记录 prompt cache 保存与恢复时长的改动,但不要自行假定已有该日志。
验证方法
使用与 Issue 类似的 AIPerf 多轮并发负载复测,观察恢复期间其他请求的流式输出是否不再出现明显停顿;同时确认服务端日志中 prompt-cache 恢复前后没有异常延迟。若仍出现卡顿,需确认实际运行的二进制确实包含 PR #32489 的修复。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


