标签： LLM

该问题出现在使用 llama.cpp 的 llama-server 运行推理速度约 100 T/s 的 reasoning 模型时，前端 Firefox 打开 WebUI 并生成较长的 reasoning 输出，导致客户端 Firefox 占用 100% 单核 CPU。优先排查方向是 WebUI 前

在 vLLM 启动时传入 --otlp-traces-endpoint （可选叠加 --collect-detailed-traces all ）后，服务能正常推理、Prometheus 指标正常，但 OTLP 端点始终收不到任何 span，日志里也没有报错。通常发生在 vLLM 已 fork 出

这个报错通常出现在使用 VLLM_TARGET_DEVICE=empty 构建的 vLLM v0.20.2 上，而 v0.20.2 默认启用 V1 engine，V1 engine 的模型初始化会调用未编译进 empty 构建的 C++ 扩展，从而抛出 No module named 'vllm._

这个报错通常出现在多节点 TP 部署 hybrid GDN/mamba 模型并开启 --enable-prefix-caching 时：head 节点在进程内把 mamba_cache_mode 从 "none" 派生为 "align" ，但该派生值没有传达到远端 worker，导致两个 rank

该问题出现在 ROCm 环境下的 vLLM 使用 DeepSeek V4 模型并启用 MRV2 时，若 Decode 阶段只走 FULL_DECODE_ONLY 图，会导致精度下降。优先排查 cudagraph/full decode 相关配置与 nightly 版本差异。