标签： LLM

用户在 RAGFlow v0.24.0（commit 61209ff）中上传了多份文件，在执行了 embedding 和 Raptor 处理后查看文件的 chunk 列表。在常规 chunk 之后，发现了由 Raptor 生成的 chunk，其 docnm_kwd 字段的值是同一数据集中另一份文件的

用户在 llama-server 中运行推测解码时，通过 -md 参数加载草稿模型，并在启动日志中观察到 kv_unified = 'true' 。尽管草稿模型已加载到内存，但推测解码从未启用：生成阶段无草稿初始化日志、无接受统计、速度与无草稿基线相同。当前确认的最可能原因与 --spec-type

用户在 llama.cpp 的 llama-server 中，使用 SYCL 后端 （Intel Iris Xe Graphics）加载 Gemma 4 26B 量化模型（Q4_K_XL GGUF），处理约 95K 令牌的提示词。GPU 在约 60% 处（56982 tokens）突然无工作负载，而

用户在使用 ROCm 7.0 环境（HIP 7.0.51831，PyTorch 2.9.1）运行 vLLM 时，加载 meta-llama/Llama-3.2-1B-Instruct 模型，启用了 ROCM_ATTN 注意力后端，导致进程因 Seg Fault 崩溃。运行环境为 AMD EPYC 9