标签： LLM

这个报错通常出现在 vLLM 使用非流式（non-streaming）接口调用 derender 路径时，输出中会额外夹带 Unicode 替换字符 U+FFFD（“�”），而普通 route 在同样位置本该什么都不输出。优先排查是否命中了 detokenize 侧的 delta 处理差异，并确认是

这个报错通常出现在加载形状异常的 GGUF 模型时，llama.cpp 在 tensor 解析阶段对元素总数或字节数的整数乘法溢出，触发 UBSan 报告。优先排查模型文件本身是否损坏或非标准 GGUF，并关注 gguf.cpp 中的元素数量校验逻辑。

该问题通常出现在 Windows 上通过 Vulkan 后端（尤其是 AMD RDNA4 显卡）运行 llama.cpp 新构建版本时，模型会重复输出同一 token 或生成乱码。优先排查 AMD 显卡驱动版本，以及 Vulkan 后端对 RDNA4 架构的识别是否正确。

该报错通常出现在 ROCm 构建的 vLLM 上，代码路径却把 CPU 张量派发给了只注册在 CUDA/HIP 后端的算子。 [ROCm] rocm_unquantized_gemm crashes on CPU tensors (dispatch ignores tensor device) 的核