标签： LLM

用户在使用 vLLM 0.23.1rc1.dev788+gfa4321de3 部署 deepseek-ai/DeepSeek-V4-Flash-DSpark 模型时，启用了 DSpark 推测解码（ --spec-method dspark --spec-tokens 5 ），在 KV-cache

用户按照 RAGFlow 官方文档在 Mac M4 上执行 docker build --build-arg LIGHTEN=1 -f Dockerfile -t infiniflow/ragflow:nightly-slim . 命令时，Dockerfile 中的 apt install 阶段无法

用户在 vLLM 中部署 Qwen3-ASR 模型，并开启流式推理（streaming output）。期望获得连续的 ASR 转录文本，但实际输出却被切割为多个 5 秒长度的分段片段，需要额外的后处理才能合并完整结果。

用户在使用 RAGFlow 的 ragflow:nightly 镜像（commit ID: 26d，image version: v0.23.1-312-g38289084a）解析 PPTX 演示文稿时，发现输出的解析结果中缺少所有幻灯片中的图片。

用户在 LlamaIndex 中使用 FunctionTool.from_defaults() 包装一个带有 **kwargs 的函数，然后通过 llm.chat_with_tools() 调用 OpenAI 驱动并启用 strict=True 模式时触发此错误。该错误同样适用于其他带有 *args

用户在 Windows 系统下，使用 llama-server 加载 Gemma-4-26B-A4B 模型及其对应的 mmproj 文件，通过 Vulkan 后端在 AMD Radeon 780M Graphics（AMD 8840U）上运行。文本推理正常，但一旦输入图片，视觉编码器（vision

用户在 Linux 上使用 llama.cpp （版本 3808, debug 模式）时，通过 llama-gguf-split 合并了 Hugging Face 上的 Qwen2-57B-A14B-Instruct-GGUF 分卷文件，然后使用 llama-cli 加载生成的 qwen2-57b-

用户在 Open WebUI v0.10.2 中，使用 vLLM 0.24.0 部署 Qwen3.5-122B-A10B-AWQ 模型（通过 OpenAI 兼容端点）。其他客户端（Jan.ai）连接同一个 vLLM 端点时输出正常。问题出现在 Open WebUI 内的对话中：表现为无输出、开始正常