Lora Extraction broken on klein 9b

问题场景

用户在 SwarmUI 中对 klein 9b 模型执行 Lora Extraction 操作。具体流程为：先使用 fp8 distilled 检查点，再加载 CivitAI 上的其他微调 distilled 检查点，然后执行提取差异（Extract difference）操作。当把提取出的 LoRA 重新应用到 fp8 检查点时，生成结果变为噪声。

报错原文

Lora Extraction broken on klein 9b

（实际表现为提取后的 LoRA 重新应用时输出为噪声，未出现明确错误代码。）

原因分析

该问题与 klein 9b 的 fp8 distilled 检查点相关。可能原因包括：

• fp8 distilled 检查点与常规检查点在权重表示或数值精度上存在差异，导致 SwarmUI 的 Lora Extraction 算法在计算差异时未能正确处理这类模型。
• 提取算法可能未针对 distilled 模型做适配，导致提取出的权重无法正确应用到原检查点。

需要注意的是，这些原因属于合理推测，Issue 本身未给出明确根因分析。

环境排查

• 确认 SwarmUI 版本是否较旧（是否早于 #1343 修复合并时间）。
• 确认使用的 klein 9b 检查点是否为 fp8 distilled 版本。
• 确认 CivitAI 下载的微调检查点是否同为 distilled 版本。
• 确认 Lora Extraction 参数是否与模型兼容（如提取层数、学习率等设置）。
• 如环境允许，检查 Python、PyTorch 或 CUDA 版本是否满足 SwarmUI 运行要求（Issue 未提供具体版本参考）。

解决步骤

1. 升级 SwarmUI：将 SwarmUI 更新到包含 #1343 修复 的最新版本（可优先尝试）。
2. 重新测试 Lora Extraction：在升级后，重复原始操作流程——加载 fp8 distilled 检查点，再加载微调检查点，执行差异提取。
3. 验证提取结果：将提取的 LoRA 重新应用到 fp8 检查点，确认输出不再是噪声。
4. 如升级后问题仍存在，可尝试更换其他非 distilled 检查点做交叉验证，以确定问题是否仅限于 fp8 distilled 模型。

验证方法

执行完成 Lora Extraction 后，将提取的 LoRA 应用到原始的 fp8 distilled 检查点，生成一张测试图。如果输出图像内容清晰、无明显噪声干扰，且与预期风格一致，则说明问题已修复。建议对比修复前后的生成效果做确认。

参考来源

mcmonkeyprojects/SwarmUI #1330

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。