标签： LLM

用户运行 llama.cpp 的 llama-cli （版本 9524, 59917d392），在 macOS（Apple M1, Metal 后端）上加载 Step 3.7 Flash 模型，使用 pi agent 且启用了工具调用功能。模型在推理过程中陷入重复模式，表现为：模型似乎要执行工具调用

用户在 vLLM 中部署 nvidia/diffusiongemma-26B-A4B-IT-NVFP4 或 aidendle94/diffusiongemma-26B-A4B-it-INT8-dynamic 模型时，使用 tensor-parallel size >1 或 pipeline-para

用户在 RAGFlow 服务中使用 Infinity 作为向量库，并在解析文档时启用了知识图谱（Knowledge Graph）功能以抽取节点和关系。该功能触发后，UI 显示错误信息，用户怀疑是否只能使用 Elasticsearch 作为向量库。

在 Linux 系统（Ubuntu 24.04.3/24.04.4）上使用 llama.cpp（版本 2999，2026年3月多個近期 commit）运行 GGUF 格式模型（LLaMA 7B Q4_0、Qwen2 7B Q4_K_M 等）进行 prompt 处理和 token 生成基准测试时，发现

用户在使用 RAGFlow 处理数万份文档时，启用了标签、Raptor 摘要、知识图谱提取等所有功能。整个解析过程耗时数周，且已通过 DeepSeek API 花费数千元人民币。然而，由于网络故障，大量文档在最后的“知识图谱提取”步骤失败。用户发现没有机制可以仅重试失败文档，当前实现似乎是重试任务最