使用NVIDIA NeMo Automodel和🤗 Diffusers大规模微调视频和图像模型

NVIDIA 与 Hugging Face 合作,将分布式训练框架 NeMo Automodel 集成到 Diffusers 生态中,使开发者可以在不转换模型格式的前提下,直接对 Hugging Face Hub 上的开源视频和图像模型(如 FLUX、Wan 2.1、HunyuanVideo)进行单机到百卡规…

使用NVIDIA NeMo Automodel和🤗 Diffusers大规模微调视频和图像模型

一句话看懂:NVIDIA 与 Hugging Face 合作,将分布式训练框架 NeMo Automodel 集成到 Diffusers 生态中,使开发者可以在不转换模型格式的前提下,直接对 Hugging Face Hub 上的开源视频和图像模型(如 FLUX、Wan 2.1、HunyuanVideo)进行单机到百卡规模的高效微调。

事件核心:发生了什么

7月17日,NVIDIA 与 Hugging Face 联合发布了一项集成成果:开源训练库 NeMo Automodel(Apache 2.0 协议)现已原生支持 Diffusers 格式的模型。用户只需指定 Hugging Face Hub 上的模型 ID(如 black-forest-labs/FLUX.1-dev)即可启动训练,无需额外进行检查点转换或模型改写。目前官方已提供针对 Wan 2.1、FLUX.1/2-dev、HunyuanVideo 1.5、Qwen-Image 等模型的微调配方(Recipe),覆盖文本到图像、文本到视频生成,参数量从 1.3B 到 32B 不等,且同时支持全参数微调和 LoRA 参数高效微调。NeMo Automodel 底层使用 PyTorch DTensor 和流匹配(flow-matching)训练目标,通过 VAE 潜在空间编码、多分辨率分桶数据加载以及 FSDP2、张量并行、专家并行等多种并行策略实现从单卡到数百卡的平滑扩展。

为什么重要

此项合作降低了社区大规模微调扩散模型的门槛。过去,在 Diffusers 生态中进行分布式训练往往需要开发者自行编写并行代码或使用第三方转换工具,导致不同模型之间的兼容性差、迁移成本高。NVIDIA 提供的 YAML 配置式工作流将并行策略从代码中解耦,使其成为可配置选项,这让一个训练脚本就能适配各种规模的硬件集群。对 Hugging Face 来说,这进一步巩固了 Diffusers 作为“模型管理+推理+训练”统一入口的地位,而 NVIDIA 则通过 NeMo Automodel 拓展了其开源训练工具在企业级微调场景中的覆盖范围。此外,由于检查点无需转换即可直接加载到 DiffusionPipeline 进行推理或回传 Hub,下游的量化和编译工具链均保持完整可用,提升了生产流程的连贯性。

对用户/开发者/创作者的影响

对开发者: 可以复用现有的 Diffusers 脚本和模型 ID,快速接入分布式微调。新增模型支持只需添加数据处理处理器和模型适配器,无需重写全套训练逻辑,有利于快速跟进新发布的模型,如近期开源的 Qwen-Image 和 Wan 2.2 等。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对企业与创作者: LoRA 配方的提供使得在单台 40GB A100 上即可微调 1.3B 级别的视频生成模型(如 Wan 2.1 T2V 1.3B),而全参数微调则适用于有多卡集群并追求最高质量的场景。这意味着小团队也能以较低硬件成本进行定制化视频或图像模型微调。

值得关注的后续

1. 新模型落地速度: 当社区发布下一个热门 Diffusers 模型时,NVIDIA 能否快速跟进并提供配套 Recipe,将直接验证其“小范围代码添加即可支持”的承诺是否经得起考验。

2. 第三方集成与插件生态: Diffusers 社区已有大量基于 PEFT 的 LoRA、DreamBooth 等微调工具,NeMo Automodel 能否兼容或替代这些现有方案,会影响开发者的迁移意愿。

3. 对商业推理服务的潜在影响: 若微调后的模型能更方便地接入 Nebula NVIDIA NIM 或其它推理端点,可能催生“即训即用”的微调+推理一体化服务模式。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 13902

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注