[Doc]: gguf documenation is incorrect on the example

问题场景

用户按照 vLLM 官方文档中 GGUF 的示例运行 vllm serve 命令时，未指定 --dtype 参数，导致启动失败。具体用例为加载 unsloth/Qwen3-0.6B-GGUF:Q4_K_M 这一 Hugging Face 模型。

报错原文

Value error, torch.bfloat16 is not supported for quantization method gguf. Supported dtypes: [torch.float16, torch.float32]

原因分析

vLLM 官方 GGUF 文档中的示例命令未包含 --dtype float16 参数，导致 vLLM 自动选择了默认的数据类型（通常是 bfloat16），而 GGUF 的量化方法仅支持 float16 和 float32，因此直接报错。

环境排查

• vLLM 版本：确保使用支持 GGUF 的版本（文档修正预期在 2026 年 7 月后的更新中生效）。
• GGUF 模型来源：确认模型来自 Hugging Face 或本地路径合法。
• 依赖版本：vLLM-gguf-plugin 已合并修复的 PR #73，建议更新该插件至最新版本（该 PR 已合并，预期修正底层代码的默认 dtype 行为）。

解决步骤

1. 将原有文档示例命令改为以下形式，手动指定 float16：
   vllm serve unsloth/Qwen3-0.6B-GGUF:Q4_K_M --tokenizer Qwen/Qwen3-0.6B --dtype float16
2. 如果希望长期解决此问题，可更新 vllm-gguf-plugin（参考已合并的 PR #73）。
3. 若使用本地 GGUF 文件，同样需在启动命令中加上 --dtype float16。

验证方法

使用调整后的命令启动服务，观察是否出现 bfloat16 相关错误。若启动成功并正常响应推理请求，则问题解决。

参考来源

vllm-project/vllm #47461

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。