从FP32到BF16，再到混合精度的全景解析

笔者做过目标检测模型、超分模型以及扩散生成模型。其中最常使用的是单精度FP32、半精度FP16、BF16。
双精度"FP64"就不说了，不太会用到。

#1. 单精度、半精度和混合精度

单精度（FP32）、半精度（FP16）和混合精度（FP32+FP16） 是常见的浮点数计算格式，在深度学习模型的训练与推理中都有涉及。
它们在计算效率、显存占用和数值稳定性上有显著差异。以下是它们的核心区别对比：

精度类型	位数	显存占用&生成效果	生成速度	用途
FP32	32-bit	🌟🌟🌟🌟最高	🌟最慢	预训练
FP16	16-bit	🌟🌟	🌟🌟🌟	微调训练、推理
BF16	16-bit	🌟🌟	🌟🌟🌟	微调训练、推理
混合精度	FP16+FP32	🌟🌟🌟	🌟🌟	微调训练、推理
FP8 (E4M3)	8-bit	🌟最低	🌟🌟🌟🌟最快	边缘设备推理
FP8 (E5M2)	8-bit	🌟最低	🌟🌟🌟🌟最快	边缘设备推理

注：推理即图像生成。

---

#2. BF16（Brain Float16）是什么？

简单的说，「BF16」的显存占用与「FP16」相近，但稳定性与训练效果更好。所以在训练时建议用「BF16」替代「FP16」。

「BF16」由 Google Brain 提出，保留与 FP32 相同的指数位数（8 位指数），仅降低小数位数（从FP32的23 位缩减到7位）。虽然BF16点小数部分精度低于 FP16的10位，但这部分对深度学习影响较小，可以暂时忽略。

---

#3. 混合精度（FP16 + FP32）是什么？

混合精度会同时使用 FP16 和 FP32，关键部分（如梯度更新）保留 FP32。

笔者一般会直接使用自动混合精度（AMP），即让程序自己选择精度，一般来讲模型权重会保存为FP32，前向与反向传播用FP16。

---

#4. FP8的简单了解

实际中很少使用FP8，因为它们的生成效果几乎是最差的（不管INT8），基本只会用于边缘设备（如RV1126等）。所以只需简单了解：

• E5M2（5 位指数，2 位小数）：动态范围大，适合梯度计算（训练）。
• E4M3（4 位指数，3 位小数）：精度稍高，适合前向传播（生成）。