标签： LLM

这个报错通常出现在使用 SYCL 后端、以 server 模式（llama-server）加载模型时，底层在查询设备显存大小时直接 abort；优先排查/升级 llama.cpp 版本，而不是模型本身或参数配置。

这个报错通常出现在 llama.cpp server 已启动多模态（ --mmproj ）时：客户端读取了 GET /props 返回的随机 media_marker ，又把该响应内容作为普通用户文本回传，导致服务端在渲染后的 prompt 中扫描到的媒体标记数量与随附的 bitmap 数量不一致，

这个报错通常出现在 shell 启动脚本里调用了 llama-server --completion-bash （或 --version 、 --help ）时， llama-server 在解析参数之前就打印了 llama_server: initializing ... ，属于早期日志时机回归导

这个报错通常出现在 s390x（IBM Z / LinuxONE）等没有 xgrammar 预编译 wheel 的平台上，vLLM 启动阶段在导入 xgrammar 相关模块时直接抛出 ImportError: No module named 'xgrammar' 。优先排查 xgrammar 是否

这个报错通常出现在 Ubuntu 桌面环境下用 TextGen WebUI 或 Linux 便携包（Electron 桌面版）加载 GGUF / mmproj 模型时，前端 GUI 能打开但模型加载进程崩溃或提示加载失败。优先排查 Electron 启动链路与本地 build 版本（4.7.x）是否

在使用 llama.cpp 的 Hexagon HTP 后端执行 F32/F16 的 GGML_OP_ADD 时，如果 src1 的 dim 1 为 1、同时在 dim 2 上有多个 slice（即按行广播但跨 dim 2 切片），HTP 内核可能读错行，导致输出出现 FLT_MAX / inf 。

该报错通常出现在 GB10（SM121）、unified memory 机器上用 vLLM 跑 Qwen4Exp 架构模型做超长 prefill（chunked prefill）时，随着 chunk 推进，QSA indexer 的 per-chunk logits buffer 尺寸逐块增大，Py

在 vLLM 中同时启用 VLLM_BATCH_INVARIANT=1 与 pass_config.enable_sp=True （或会隐式开启它的 fuse_gemm_comms=True ）时，相同请求的 logprobs / 贪心输出会随 batch 组成变化，批量不变性被破坏；优先排查是否同

该报错通常出现在 vLLM V1 引擎开启动态批处理、同时混用带 allowed_token_ids 受限请求与无限制请求时， InputBatch.condense() 会把已释放行的 stale allowed_token_ids_mask_cpu_tensor 残留下来，并被后续无限制请求复用