标签： LLM

用户在 llama.cpp (build 9619, commit d8a24cce) 中，使用 llama-bench 工具，后端为 HIP (ROCm)，硬件为 2x AMD Instinct MI210 (CDNA2, gfx90a)。分别测试了 gemma-4-31B 模型的 QAT Q4_

用户在使用 llama.cpp 路由器模式（通过 `--models-preset` 和 `--models-max` 参数）运行 `llama-server` 时，父进程的 CLI 标志（如 `--parallel 1`、`--cache-type-k q8_0`、`--flash-attn on

用户在 RAGFlow v0.26.0（对应 workspace commit ID 6865039a2 ）中，通过 Ollama 提供商添加从 Ollama 拉取的 qllama/bge-reranker-v2-m3:latest 模型。RAGFlow 运行在 CPU-only 模式下，但问题同样

用户使用 llama-server.exe 启动 llama.cpp 服务器，在加载模型后关闭控制台窗口或按 Ctrl+C 退出时，系统立即蓝屏并重启。问题在 Windows 系统上发生，涉及 NVIDIA GPU 和可能的 Vulkan 后端。

用户使用 llama-server （版本 8182、8233、8149，基于 ggml-org/llama.cpp）加载 Qwen 3.5 27B GGUF 模型（如 Qwen3.5-27B.Q8_0.gguf ），启用 flash attention 和长上下文（如 131072 tokens）

用户在运行 vLLM (版本 0.21.0) 的分离式推理 (disaggregated inference) 时，使用 NixlConnector 作为 KV 连接器，并配置了非同等的 TP 大小 (例如 Prefill TP=8, Decode TP=16，或 TP=8 对 TP=16)。问题触