标签： LLM

用户在 macOS/Metal 环境下，使用 llama-quantize 工具对 DeepSeek-V4（如 deepseek-ai/DeepSeek-V4-Flash-DSpark ）的 GGUF 文件进行量化时触发。典型命令为： llama-quantize --allow-requantiz

用户在 llama.cpp 的 llama-server 中使用 DFlash 推测解码（ --spec-type draft-dflash ）时，通过 --cache-type-k-draft q8_0 或 --cache-type-v-draft q8_0 将草稿模型的 KV 缓存类型设置为量化

用户在使用 vLLM 部署推理服务时，当 vLLM 通过 fork 方式启动 EngineCore/Worker 子进程，且环境中安装了 Triton 3.8 版本，子进程在调用 torch.cuda.set_device(0) 或 torch.accelerator.set_device_inde

用户在使用 RAGFlow v0.24.0-373-gaf40be68c 版本时，通过模型供应商配置页面成功添加了 Qwen3.5-27B 模型，但在聊天应用的模型选择下拉框中无法找到该模型。

用户在 Windows 系统上使用 llama-cli 或 llama-server（版本 9484，基于 Clang 19.1.5 构建），通过 Vulkan 后端，以 Ryzen HX 370 集成 GPU 运行 Qwen 3.6 27b Q8 模型时触发。复现命令中包含 --no-mmap 和

用户在 llama.cpp b10048 (commit 2e1fd76) 上运行 llama-server 或 llama-cli ，使用 --spec-type draft-dflash 模式，配合官方 z-lab 提供的 DFlash 草稿模型（如 Qwen3-8B-DFlash-b16 或

用户在 RAGFlow 中上传文档（推测为 8 页的 PDF 或被分割为 28 个 chunk 的文档），在文档解析（OCR、布局分析、关键词/问题/Meta 生成、Embedding）均成功完成后，触发 GraphRAG 知识图谱构建任务。构建过程中出现 Entities extraction o