标签： LLM

用户使用 CMake out-of-tree 构建方式编译 llama.cpp，将源代码挂载为只读目录 $srcdir ，并在独立的构建目录中运行 cmake 和 make 。配置启用了 LLAMA_BUILD_UI=ON 且 LLAMA_USE_PREBUILT_UI=OFF ，构建过程中需要从源

用户在 Linux aarch64 系统上运行 llama-server （版本 9439, built with GNU 16.1.1）时，未指定 --port 参数，预期默认端口为 8080，但访问 http://127.0.0.1:8080/app 返回 404 错误。用户推测 llama-s

用户在 vLLM 推理服务中启用 prefix caching 功能（V1 引擎），使用 Qwen2-0.5B 模型（bf16 精度，TP=1），在 NVIDIA RTX 4090 或 3090 上运行时，同一 prompt 因是否命中前缀缓存而产生不同的语义输出（例如：缓存路径输出 "her ri

用户运行 ollama run zephyr ，第一次 prompt 正常，第二次 prompt 后报错。日志显示 CUDA 出现 out of memory 错误。

在 RAGFlow 0.24.0 版本中使用 MinerU 解析器（Parser）处理 PDF 文档时，解析后输出的图像被部分遮挡/变暗，出现半透明黑色蒙层。该现象也存在于 pdf_parser、docling_parser、paddleocr_parser 等其他解析器中。

用户使用 LlamaIndex 的 OpenAI 兼容 LLM 客户端（ llama-index-llms-openai ）连接 vLLM 服务器（>=0.20.x），服务模型为 Qwen3/Qwen3.5/Qwen3.6 系列（如 Qwen/Qwen3.6-35B-A3B，并启用 --reason