IPAdapter Advanced issues with torch Size, n

这个报错通常出现在 ComfyUI IPAdapter Plus 使用 IPAdapter Advanced / Unified Loader / Embeds 工作流时,加载器与模型之间的维度不匹配,优先排查 IPAdapter 模型文件是否对应正确的 CLIP Vision 编码器(ViT-H

快速结论:这个报错通常出现在 ComfyUI IPAdapter Plus 使用 IPAdapter Advanced / Unified Loader / Embeds 工作流时,加载器与模型之间的维度不匹配,优先排查 IPAdapter 模型文件是否对应正确的 CLIP Vision 编码器(ViT-H 或 ViT-G)。核心报错为 IPAdapter Advanced issues with torch Size, n 以及 size mismatch for proj_in.weight。

适用环境:Issue 中确认的环境为最新版 ComfyUI 与 IPAdapter_plus、Windows 路径、CUDA 设备、torch.float16,使用模型 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors。

最快修复方案:暂无确认的一步修复方案。Issue 中报告者最终表示,问题出在手动下载的某个 checkpoint 文件上,重新获取该文件后问题可能解决。

注意事项:该结论来自报告者事后回忆,未提供具体是哪一个文件、下载来源或校验方式;如果模型文件本身正确,则仍需进一步排查 CLIP Vision 与 IPAdapter 模型的匹配关系。

问题场景

用户在 ComfyUI 中运行 IPAdapter Plus,使用 IPAdapter Advanced、IPAdapter Unified Loader、IPAdapter Embeds 等节点,加载 SDXL 版的 ip-adapter-plus_sdxl_vit-h.safetensors 与 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 时,IPAdapter 在加载阶段报出张量尺寸不匹配。

报错原文

IPAdapter chokes with:

size mismatch for proj_in.weight: copying a param with shape torch.Size([1280, 1280]) from checkpoint, the shape in current model is torch.Size([1280, 1668])

原因分析

从日志看,当前加载的 CLIP Vision 模型实际 embed_dim 为 1664,而 IPAdapter checkpoint 中 proj_in.weight 的输入维度是 1280。也就是说,IPAdapter 模型期望的 CLIP Vision 特征维度与当前实际加载的 CLIP Vision 编码器不一致。

可能原因包括:CLIP Vision 模型与 IPAdapter 模型版本不匹配,例如把为 ViT-H(1280 维)准备的 IPAdapter 与 ViT-G(1664 维)的 CLIP Vision 组合使用;或者手动下载的模型文件不完整、命名或内容被替换,导致加载到的实际权重与预期版本不符。

报告者后来回忆,问题源于手动下载的某个 checkpoint 文件,但未说明具体文件。

环境排查

  • 确认 ComfyUI 与 ComfyUI_IPAdapter_plus 是否为最新版本。
  • 确认 models/clip_vision/ 中加载的 CLIP Vision 模型是否为 IPAdapter 所要求的那一个。
  • 确认 models/ipadapter/ 中加载的 IPAdapter 模型是否与 CLIP Vision 的 ViT 版本匹配。
  • 检查所用的 ip-adapter-plus_sdxl_vit-h.safetensors 是否被替换成了其他版本。
  • 检查所有手动下载的 safetensors 文件校验和是否与官方发布一致。
  • 确认 CUDA 设备、PyTorch 与 float16 设置不是导致维度变化的原因;维度不匹配通常与模型文件有关。

解决步骤

  1. 先记录当前加载的 CLIP Vision 模型与 IPAdapter 模型:日志中可见 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 与 ip-adapter-plus_sdxl_vit-h.safetensors。
  2. 检查这两个文件是否来自同一套兼容组合,避免混用 ViT-H 与 ViT-G 相关的 CLIP Vision / IPAdapter 权重。
  3. 重点排查手动下载的模型文件,报告者最终认为是其中某个 checkpoint 文件的问题。
  4. 重新下载疑似有问题的 checkpoint 文件,并尽可能核对校验和或官方提供的文件大小。
  5. 重启 ComfyUI 后,用同一套 IPAdapter Advanced / Unified Loader / Embeds 工作流再次测试加载与推理。

验证方法

重新加载后,不应再出现 size mismatch for proj_in.weight,并且 IPAdapter 模型可以完成加载、进入推理阶段;如果工作流能正常生成图像,说明维度不匹配已解决。

参考来源

cubiq/ComfyUI_IPAdapter_plus #752

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 25858

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注