ValueError: Following weights were not initialized from checkpoint: {‘visual.blocks.16.norm2.bias’, ‘visual.blocks.4.norm2.weight’, …

快速结论：此报错通常出现在 SFT（监督微调）Qwen3.5-9B 模型后，使用 vLLM 部署时因配置类型不匹配引发。优先检查模型 SFT 后的 config.json，确认是否从多模态架构改为了纯文本架构（Qwen3_5ForCausalLM），并确保 vLLM 版本与 Transformers 兼容。

问题场景

用户使用 Transformers（v5.2.0 或 v5.3.0）对 Qwen3.5-9B 模型进行 SFT 后，尝试通过 vLLM（v0.17.0）部署时触发报错。报错核心为 HuggingFace 配置类型无效：期望 vllm.transformers_utils.configs.qwen3_5.Qwen3_5Config，但实际得到 transformers.models.qwen3_5.configuration_qwen3_5.Qwen3_5TextConfig。

报错原文

TypeError: Invalid type of HuggingFace config. Expected type: , but found type:

原因分析

可能原因：vLLM 为了支持 Qwen3.5，在自身库中自带了（vendored）独立的配置类（Qwen3_5Config），而 Transformer 上游的配置类（Qwen3_5TextConfig）与之不匹配。这种不匹配在模型 SFT 后被加剧：原始 Qwen3.5-9B 是多模态模型（Qwen3_5ForConditionalGeneration，含文本和视觉配置），但微调后配置被改写为纯文本架构（Qwen3_5ForCausalLM），导致 vLLM 无法正确读取配置。此外，vLLM v0.17.0 要求 Transformers5，这本身存在版本冲突。

环境排查

确认 Transformers 版本：推荐升级到最新版（如 v5.3.0）后再测试。
确认 vLLM 版本：建议使用最新版或带有#37398修复的分支。
核对模型目录中的 config.json：重点关注 architectures 字段（是Qwen3_5ForConditionalGeneration还是Qwen3_5ForCausalLM）以及 model_type。
检查 SFT 工具是否改变了模型架构（如从多模态切换为纯文本）。

解决步骤

更新 vLLM：尝试使用包含 https://github.com/vllm-project/vllm/pull/37398 修复的分支或最新 vLLM 版本（开发版）。有证据表明该 PR 可解决此问题。
检查模型配置：打开微调后模型目录下的 config.json，对比原始 config.json。如果 architectures 从Qwen3_5ForConditionalGeneration变为Qwen3_5ForCausalLM，且缺少 text_config、vision_config 等子配置，则可能是 SFT 工具导致架构变化。可优先尝试手动还原配置为原始多模态格式（保留 text_config 子对象）。
确认 Transformers 版本兼容性：vLLM 官方要求 Transformers5。若条件允许，可回退 vLLM 版本或等待 vLLM 新版本解决此冲突。
验证 vLLM 的 vendored 配置：检查 vllm/transformers_utils/configs/qwen3_5.py 中是否存在 Qwen3_5Config 类，并与上游 Transformers Qwen3_5TextConfig 对比，必要时手动对齐。

验证方法

完成上述修复后，尝试使用 vLLM 加载微调后的模型目录，观察是否还能复现类型错误。如果加载成功并可以正常进行推理，则问题解决。

参考来源

huggingface/transformers #44541

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

ValueError: Following weights were not initialized from checkpoint: {‘visual.blocks.16.norm2.bias’, ‘visual.blocks.4.norm2.weight’, …