ValueError: bf16 mixed precision requires PyTorch >= 1.10 and a supported device.

快速结论：该报错通常在使用BF16混合精度训练LoRA或模型时出现，原因是显卡不支持BF16（bfloat16）精度格式。优先排查你的NVIDIA显卡是否支持BF16（Ampere架构及以上），如不支持，将训练参数中的混合精度和保存精度切换为FP16。

问题场景

用户在运行Kohya SS GUI训练LoRA时触发报错。报错出现在脚本执行阶段，具体是对train_network.py的调用中，配置了--mixed_precision=bf16和--save_precision=bf16参数。

报错原文

Traceback (most recent call last):
  File "train_network.py", line 143, in train
    accelerator, unwrap_model = train_util.prepare_accelerator(args)
  ...
ValueError: bf16 mixed precision requires PyTorch >= 1.10 and a supported device.
...
subprocess.CalledProcessError: Command '... --mixed_precision=bf16 --save_precision=bf16 ...' returned non-zero exit status 1.

原因分析

根本原因是显卡硬件不支持BF16混合精度。BF16需要NVIDIA Ampere架构（RTX 30系列）或更新的显卡（如RTX 3090、A100等）。如果使用Turing架构（RTX 20系列）或更早的显卡（如GTX 10系列、GTX 16系列），则不支持BF16。Issue讨论中确认了该用户通过切换到FP16并更换优化器解决了问题。

环境排查

确认==显卡型号==：运行 nvidia-smi 或 dxdiag 查看是否支持BF16（RTX 30xx/40xx或专业卡如A100/T4等支持）。
确认==PyTorch版本==：虽然报错提到需要PyTorch >= 1.10，但核心原因通常不是版本，而是硬件支持。可运行 python -c "import torch; print(torch.cuda.is_bf16_supported())" 来检查设备是否支持BF16。
检查==Kohya SS版本==：确认是否更新到最新版。
检查==CUDA版本==：建议CUDA 11.x以上，但这不是主要因素。

解决步骤

首先确认硬件支持性：运行 python -c "import torch; print(torch.cuda.is_bf16_supported())"。如果返回 False，则不支持BF16。
修改训练参数（可优先尝试）：在Kohya SS GUI中，将“Mixed Precision”下拉选项从 bf16 改为 fp16，将“Save Precision”同样改为 fp16。
更换优化器（经Issue评论验证有效）：将“Optimizer”下拉选项从 AdamW8bit 或 8bit Adam 更改为 AdamW。某些显卡环境下，AdamW8bit 与BF16不兼容或导致报错。
验证变更：保存设置后重新发起训练任务。

验证方法

重新启动训练，观察终端或日志输出没有出现 ValueError: bf16 mixed precision requires... 错误，并可正常进入训练进度步骤。如果仍报错，检查显卡是否型号较老（如GTX 1060），此时也应确认--use_8bit_adam参数已移除或关闭。

参考来源

bmaltais/kohya_ss #89

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

ValueError: bf16 mixed precision requires PyTorch >= 1.10 and a supported device.