标签： LLM

用户通过 Docker Compose 部署 ghcr.io/ggml-org/llama.cpp:server-intel 镜像，使用 SYCL 后端在 Intel Arc Pro B50 显卡上运行 Qwen 3.6 35B 模型（Q4_K_XL_MTP 量化）。镜像从 server-intel

用户在 llama-server （多模型路由预设）中加载 unsloth/Qwen3.6-35B-A3B （推理型 MoE 模型，UD-Q8_K_XL 量化），通过外部 --chat-template-file （社区修复的 Qwen3.6 家族模板，XML 工具调用方言）并设置 --jinja

在 vllm serve 启动 DeepSeek-V4-Flash 模型时，使用 --speculative-config '{"method":"mtp","num_speculative_tokens":1}' 或 num_speculative_tokens=3 ，并配合 --data-par

用户使用 CMake out-of-tree 构建方式编译 llama.cpp，将源代码挂载为只读目录 $srcdir ，并在独立的构建目录中运行 cmake 和 make 。配置启用了 LLAMA_BUILD_UI=ON 且 LLAMA_USE_PREBUILT_UI=OFF ，构建过程中需要从源