标签： LLM

用户在 llama.cpp 的 llama-server 中使用 Vulkan 后端（ --device Vulkan0 ）加载 GGUF 模型，并开启 Flash Attention 加速（ -fa on ）。在首次 decode 阶段（prompt processing 完成后，生成第一个 to

用户在 llama.cpp 的 llama-server 中，使用两块 AMD FirePro D700（Tahiti XT，与 HD 7970/R9 280X 同型）显卡，在 Arch Linux 系统中启用全量 GPU 卸载（ -ngl 99 ）处理 500+ token 上下文时触发崩溃。系统

用户在 Windows 11 24H2 系统上，使用 llama.cpp b10091 版本（CUDA 13.3 构建），配合 NVIDIA GeForce RTX 4060 Laptop 8GB 显卡和 Intel Core Ultra 5 125H CPU，加载 Ornith-1.0-35B-M

在使用 vLLM 进行推理时，尤其是 CI 测试环境或生产环境（如 AMD CI 构建、NFS 共享存储、Kubernetes 持久卷）， MediaConnector 会为每个包含媒体 URL 的请求重新发起 HTTP 下载，导致：