标签： 人工智能

在 Windows VS2022 上用 cl 编译 llama.cpp 后，加载 ggml-model-q4_0.bin 量化模型会输出乱码或无意义 token；优先怀疑当时的量化代码只覆盖 ARM NEON，x86 上尚未支持，而不是推理参数或 prompt 的问题。

该报错通常出现在 llama.cpp 使用 peg-gemma4 聊天模板运行 Gemma 4 thinking 模型、且单轮对话中连续触发多次工具调用时，reasoning 尾部会逐渐累积换行和乱码，最终可能导致解析失败甚至模型返回 500。优先排查 chat template 中 thinkin

在 ROCm 环境启动 DeepSeekv4.1 Flash 时，工作进程里反复打印 GLUON backend not available. Using TRITON backend!!! ，通常意味着 AITER 的 GLUON 后端没有启用或不可用，系统退回 TRITON 后端继续运行，功能不

该报错出现在 vLLM 配合 DFlash2 草稿模型做推测解码、并启用前缀缓存的长对话场景中：每次回复都无法复用已有上下文，系统会把整段 prompt 重新做一遍 prefill，具体表现为相同请求的前缀缓存命中数始终为 0，TTFT（首 token 延迟）明显偏高。排查时应优先检查前缀缓存命中计