Misc. bug: CPU→GPU prompt-cache restores can stall inference during concurrent requests with unified KV enabled.

在 llama.cpp 的 llama-server 开启 unified KV(-kvu)并处理并发请求时,从 CPU 内存恢复 prompt cache 到 GPU 可能导致其他活跃流卡顿。优先排查 prompt-cache 恢复阶段的 CUDA 传输路径和版本。

快速结论:在 llama.cpp 的 llama-server 开启 unified KV(-kvu)并处理并发请求时,从 CPU 内存恢复 prompt cache 到 GPU 可能导致其他活跃流卡顿。优先排查 prompt-cache 恢复阶段的 CUDA 传输路径和版本。

适用环境:Issue 中确认的环境为 Windows 11、RTX 5090、CUDA 13.4.92、NVIDIA 驱动 617.42、llama.cpp master 提交 61dbf49、AIPerf 0.13.0。模型使用 Llama3.1-8B Q4_K_M 和 Qwen3.8-27B Q4_K_M。

最快修复方案:升级到包含 PR #32489 的 llama.cpp 版本;该 Issue 已通过此 PR 修复。

注意事项:Issue 标签为 bug-unconfirmed,修复验证细节未在正文中完整展开;若升级后仍有卡顿,需结合日志和并发负载继续排查。

问题场景

用户在 Windows 上运行 llama-server,使用 Llama3.1-8B 或 Qwen3.8-27B 模型,开启 -fa on、-ctk q8_0、-ctv q8_0、-np 多槽位和 -kvu(unified KV),并通过 AIPerf 发起多轮并发对话请求。服务器在槽位复用并选中缓存 prompt 时,发生 CPU→GPU prompt-cache 恢复,导致其他活跃请求的流式输出出现停顿。

报错原文

Misc. bug: CPU→GPU prompt-cache restores can stall inference during concurrent requests with unified KV enabled.

原因分析

根据讨论,恢复路径在 CUDA 的 set_tensor_n 中针对高度分散的 unified KV 场景,仍按每个连续单元段和每个层发起 cudaMemcpyAsync,最后再统一同步。与已经有 gather kernel 的 get_tensor_n(PR #31391)相比,CPU→GPU 方向的 scatter 操作没有专用 kernel,可能导致恢复期间阻塞其他推理请求。后续 PR #32489 为 set_n API 实现了可高效 scatter 的 kernel,从而修复该问题。

环境排查

  • 确认 llama.cpp 版本或提交是否早于 PR #32489 合入。
  • 确认 llama-server 启动参数是否包含 -kvu、-np、-fa on 以及 Q8_0 K/V 缓存设置。
  • 确认 CUDA 与 NVIDIA 驱动版本是否与当前构建兼容;Issue 环境为 CUDA 13.4.92、驱动 617.42,但这不是唯一触发条件。
  • 确认并发负载是否会产生 CPU prompt-cache 恢复,例如多轮对话、槽位复用和缓存命中。

解决步骤

  1. 将 llama.cpp 升级到包含 PR #32489 的版本。该 Issue 在 2026-11-19 关闭,并注明由 PR #32489 修复。
  2. 升级后使用原有 llama-server 启动参数重新运行并发测试,重点观察 CPU→GPU prompt-cache 恢复期间是否仍有活跃流停顿。
  3. 如果暂时无法升级,可优先尝试降低并发槽位数量、减少多轮缓存命中,或关闭 unified KV 以规避该路径;这些属于推测性规避方式,Issue 未明确验证。
  4. 如需跟踪恢复耗时,可关注后续服务端在 trace 级别记录 prompt cache 保存与恢复时长的改动,但不要自行假定已有该日志。

验证方法

使用与 Issue 类似的 AIPerf 多轮并发负载复测,观察恢复期间其他请求的流式输出是否不再出现明显停顿;同时确认服务端日志中 prompt-cache 恢复前后没有异常延迟。若仍出现卡顿,需确认实际运行的二进制确实包含 PR #32489 的修复。

参考来源

ggml-org/llama.cpp #32280

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注