标签： LLM

用户启动 vLLM server 时指定了 --kv-offloading-backend native 和 --kv-offloading-size 300 ，在处理长上下文场景（超长 prompt 或超长生成）时会随机崩溃，报出 RuntimeError: cancelled 。运行环境为 Ub

用户在 Ubuntu 系统下通过 Docker 部署 RAGFlow，执行 docker compose -f docker/docker-compose.yml up -d 后，所有容器（ragflow-redis、ragflow-es-01、ragflow-mysql、ragflow-minio

用户在 vLLM 0.20.2rc1.dev49 上，使用 Gemma 4 模型（如 mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit）通过 OpenAI 兼容 API 进行流式自动工具调用。具体触发条件是：启用 MTP 推测解码（speculative dec

用户在 Windows 11、AMD-64、RTX 3060 环境下运行 RAGFlow，尝试使用 RAPTOR（递归摘要树）功能时触发该错误。用户同时提供了两张截图（未显示），表明在 LLM 绑定过程中出现失败，且当使用 QW-max 模型时也出现了相同问题。

用户在使用 BaseRetriever 的同步 retrieve() 方法进行递归检索时触发此问题。当检索结果中包含两个 文本内容完全相同 但 来源文档不同 的节点时，同步路径会错误地将第二个节点丢弃（仅保留一个），而异步路径 aretrieve() 则能正确返回两个节点。