标签： LLM

在 AMD ROCm gfx1030（RDNA 2 架构，如 Radeon PRO W6800、V620、6900XT、6800XT）上用 vLLM 加载 bf16 模型时，会出现吞吐异常低、但 GPU 利用率接近 99% 的情况。优先排查 dtype 是否被自动选成了 bfloat16，改为强制

在 llama.cpp 的 llama-server 开启 Jinja 模板（ LLAMA_ARG_JINJA=1 ）并使用支持工具调用的模型时，模型偶尔会把工具调用以 JSON 字符串形式写进 content 字段（ finish_reason: stop ），而不是生成规范的 tool_call

这个报错通常出现在 XPU（Intel GPU）上首次执行 Kimi-K3 系列模型（如 Kimi-Linear-48B-A3B）的注意力前向时，原因是解码路径所需的 fused 自定义算子没有 XPU 注册；应优先确认 vLLM 与 vllm-xpu-kernels 的版本是否已包含对应修复。

在 vLLM 中加载 Qwen3-VL-Reranker（走两路 softmax / 无后处理权重加载路径）时，适配器代码直接读取 tie_word_embeddings ，但 Qwen3VLTextConfig 未声明该属性，导致加载中断。优先排查配置类是否缺该字段，以及 vLLM 版本是否已包含