标签： LLM

用户在 AMD ROCm CI 环境中运行 vLLM 的 Nixl 测试脚本 v1/kv_connector/nixl_integration/tp_config_sweep_accuracy_test.sh 时触发。该测试涉及 KV Cache 在 vLLM 分布式推理中的跨 GPU/节点传输。

用户在 macOS ARM64 (Apple Silicon) 上使用 Python 3.12 和 Apple Clang 编译器，运行以下命令从源代码构建 vLLM 的 CPU 后端时触发问题：

在 vLLM P/D 分离部署中，当前使用 Pull 模式（Decode 节点通过 NIXL READ 从 Prefill 节点拉取 KV 块）。当请求为大 prompt（如 512-2048 token）或高并发（QPS 8-16）场景时，Decode 节点必须等待 Prefill 节点完成计算后

用户在使用 vLLM 0.19.1 版本加载 Gemma 4 26B-A4B 模型的 AWQ 4bit 量化权重文件时，遇到了加载失败的情况。环境配置包括 Ubuntu 24.04、Python 3.13、PyTorch 2.10.0、CUDA 12.8、NVIDIA 595.58.03 驱动，并使