标签： LLM

在 vllm serve 启动 DeepSeek-V4-Flash 模型时，使用 --speculative-config '{"method":"mtp","num_speculative_tokens":1}' 或 num_speculative_tokens=3 ，并配合 --data-par

用户使用 CMake out-of-tree 构建方式编译 llama.cpp，将源代码挂载为只读目录 $srcdir ，并在独立的构建目录中运行 cmake 和 make 。配置启用了 LLAMA_BUILD_UI=ON 且 LLAMA_USE_PREBUILT_UI=OFF ，构建过程中需要从源

用户在 Linux aarch64 系统上运行 llama-server （版本 9439, built with GNU 16.1.1）时，未指定 --port 参数，预期默认端口为 8080，但访问 http://127.0.0.1:8080/app 返回 404 错误。用户推测 llama-s

用户在 vLLM 推理服务中启用 prefix caching 功能（V1 引擎），使用 Qwen2-0.5B 模型（bf16 精度，TP=1），在 NVIDIA RTX 4090 或 3090 上运行时，同一 prompt 因是否命中前缀缓存而产生不同的语义输出（例如：缓存路径输出 "her ri

用户运行 ollama run zephyr ，第一次 prompt 正常，第二次 prompt 后报错。日志显示 CUDA 出现 out of memory 错误。