![[Bug]: AssertionError at kv_cache_utils.py:1042 — dense draft model + hybrid-attention main (DeltaNet+SWA) fails in unify_kv_cache_spec_page](https://www.chat-gpts.plus/wp-content/uploads/2026/07/43626-9ece450b-768x403.jpg)
用户在使用 vLLM 的推测解码功能（speculative decoding）时，主模型为混合注意力架构（Qwen3-Coder-Next-80B-A3B，包含 DeltaNet 和 SWA），draft 模型为密集注意力架构（LocoOperator-4B）。引擎初始化（engine init）
![[Bug]: Triton block quantized (e.g. MXFP4) MoE kernels producing NaNs due to OOB reads on scale values](https://www.chat-gpts.plus/wp-content/uploads/2026/07/47303-d9edb114-768x403.jpg)
用户在 vLLM（v0.24.0 及 main 分支）上运行 MXFP4（例如 GPT-OSS 20B）MoE 模型，并在 Hopper 架构 GPU（H100、B200）上使用 Triton 默认内核时触发。问题在启用约束解码（constrained decoding）或其它内存分配操作（如位掩码
用户手动从源代码升级 Open WebUI（Git Clone 安装，非 Docker），版本从 v0.6.28 到 v0.7.2，Ollama 版本 0.13.5。在本地主机（localhost）上使用 Firefox 浏览器，向任意本地模型（如 deepseek-coder:33b 或 qwen
用户按照官方示例使用 pipeline 进行文本生成，加载 NVIDIA Nemotron 模型并设置 trust_remote_code=True 。模型加载权重成功，但在执行生成 pipe(messages) 时抛出 TypeError: 'NoneType' object is not sub
用户通过 Ollama 的 API 调用 Qwen 3.5 系列模型（例如 qwen3.5:35b-a3b ），在使用 Python SDK 的 client.chat() 函数时，将 think 参数设为 False ，同时设置了 format='json' 期望输出 JSON 格式。但模型返回的
该 Issue 讨论 RAGFlow 项目（83K⭐）从 Flask/Quart 迁移到 FastAPI 的技术可行性。评估基于源码分析，同时提供了概念验证代码（3 个 API 文件、47 条路由、~1,280 行代码）和完整迁移后结果（28 个文件、~270 条路由、~12,000 行代码）。适用
用户在使用 vLLM 0.23.1rc1 或更新 nightly 版本（2026-07-01 之后）部署单节点 8×H200 GPU，运行 zai-org/GLM-5.2-FP8（753B MoE）模型，设置 --tensor-parallel-size 8 时触发。报错出现在 CUDA graph
用户在使用 vLLM 加载 GLM-5.x FP8 检查点（例如 GLM-5.2-FP8）时，通过流式加载器（如 S3/RunAI streaming）或任何会多次调用 DeepseekV2Model.load_weights() 的加载路径（包括 FastTensor 路径，如 B200/B300
运行 Ollama 加载模型（特别是 CPU-only 推理场景），模型可能有时能加载、有时被拒绝，尤其在内存接近临界值、系统有其他程序占用内存时更容易触发。用户反馈在 Linux、Windows ARM、macOS 上均会出现。
用户在 macOS 上使用 Ollama 0.13.3 尝试导入一个基于 mistral-small-3.2 的微调模型（从 HuggingFace 下载的 Safetensors 权重），执行 ollama create 命令时触发报错。同样的错误在使用官方版本 mistralai/Mistral