标签： LLM

用户使用 llama-server （版本 9219, commit 45b455e66），在 Linux + CUDA 后端、3 张 A6000（Ampere 架构）的环境下，加载 Qwen3.5-35B-A3B-MTP-GGUF 或 Qwen3.6-27B-UD-GGUF 模型时触发。问题复现命

用户在使用 RAGFlow 时，在知识图谱（Knowledge Graph）配置中添加自定义实体类型（Entity types），随后运行图谱构建流程，但构建结果为空，知识图谱页面无任何实体或关系显示。

用户使用 llama.cpp 的 convert_to_gguf.py 脚本将 Plamo2 系列模型从 Hugging Face safetensors 格式转换为 GGUF 格式后，通过 llama-cli 加载模型进行推理时触发了权重形状不匹配的错误。

用户在 llama.cpp 的 server 模式下（或 MTMD 组件）使用视觉模型（如 Qwen3.5 35B, Qwen3.5 27B, Gemma 3 12B qat）处理图片，该图片的显示方向由 JPEG 的 EXIF Orientation 元数据决定（例如手机拍摄的照片）。用户期望模型

用户在使用 vLLM 启动 Gemma 4 系列模型（如 google/gemma-4-E4B-it 、 google/gemma-4-26B-A4B-it 、 google/gemma-4-31B-it ）时，同时指定了：

用户启动 vLLM server 时指定了 --kv-offloading-backend native 和 --kv-offloading-size 300 ，在处理长上下文场景（超长 prompt 或超长生成）时会随机崩溃，报出 RuntimeError: cancelled 。运行环境为 Ub