标签： LLM

该报错通常发生在 llama.cpp 使用 SYCL 模式在 Intel GPU 上运行预量化 GGUF 模型时，模型加载完成后立即崩溃或无限卡住。优先排查是否使用了过旧的代码版本，以及尝试改用 Q4_0 量化格式的模型文件。

该报错发生在 32 位 ARM（armv7a）环境下使用 GCC 编译 llama.cpp 且启用 NEON 优化时，编译器无法识别 __fp16 类型。优先排查编译时是否添加了 -mfp16-format=ieee 编译选项，否则代码会因缺少 IEEE 半精度格式声明而回退到非 NEON 路径。

该报错通常发生在同时开启 MTP 投机解码（speculative decoding）与工具调用结构化标签（structural tag）时，语法匹配器在终止后仍被推进。优先排查 VLLM_ENFORCE_STRICT_TOOL_CALLING 环境变量是否在服务进程启动前设置，或临时关闭 --sp

该报错发生在 vLLM 0.23.0 使用 Qwen3-MoE 模型（如 Qwen/Qwen3.6-35B-A3B）启用原生 MTP（Multi-Token Prediction）投机解码时，深层对话场景下部分轮次会退化为输出垃圾 token 的死循环。优先排查方法：直接移除 --speculati