NVIDIA 携手 Hugging Face 打通 Diffusers 大规模微调

NVIDIA 与 Hugging Face 发布集成方案：NeMo Automodel 可直接微调 Hugging Face Hub 上的 Diffusers 格式模型，无需在训练格式与推理格式之间转换检查点，也不必为每个新模型重写训练脚本。该集成以 Apache 2.0 开源，并可把训练后的权重直接放回 DiffusionPipeline 及既有生态。

NeMo Automodel 基于 PyTorch DTensor，支持通过配置切换 FSDP2、张量并行、专家并行、上下文并行和流水线并行。当前聚焦 flow-matching 模型，并提供潜变量预编码和多分辨率分桶加载。现成配方覆盖 Wan 2.1/2.2、FLUX.1-dev、FLUX.2-dev、HunyuanVideo 1.5 与 Qwen-Image；其中 Wan 2.1 1.3B 可放入单张 40GB A100，FLUX.2-dev 为 32B 参数。

文中演示流程分为四步：预编码数据集、使用既有 YAML 启动训练、从完整检查点生成结果，以及测量性能。以 8 张 H100 80GB 为例，FLUX.1-dev 全量微调的图像吞吐为每卡约 4.44 张/秒，LoRA 为约 6.72 张/秒。方案同时支持全量微调与 LoRA，便于在质量、成本与集群规模间取舍。

FLUX 微调前后的生成对照之一。FLUX 微调后的生成示例。另一组图像微调对照。另一组图像微调结果。视频模型微调示例之一。视频模型微调示例之二。视频模型微调示例之三。视频模型微调示例之四。视频模型微调示例之五。视频模型微调示例之六。