浅谈量化感知训练（QAT）

1. 为什么要量化？

假设你训练了一个神经网络模型（比如人脸识别），效果很好，但模型太大（比如500MB），手机根本跑不动。于是你想压缩模型，让它变小、变快。
最直接的压缩方法：把模型参数（权重）从32位浮点数（FP32，高精度）转成8位整数（INT8，低精度）。
👉 但问题来了：直接压缩（训练后量化，PTQ）会导致精度暴跌，就像把高清图片压缩成马赛克，关键细节全丢了！

2. QAT的核心思想——“考试前先做模拟题”

QAT的核心：在训练阶段，就提前让模型“体验”被压缩后的效果（模拟低精度计算），这样模型自己会调整参数，尽量适应压缩后的环境。
类比：考试前做模拟题，提前适应真实考试的环境，正式考试时就不慌了。

3. QAT具体怎么做？——三步走

第1步：正常训练模型（FP32）

• 就像学生先学基础知识，打好基础。

第2步：插入“模拟压缩”操作

• 在训练过程中，假装模型已经被压缩了。比如：

  • 对权重：把FP32的数值“假装”转成INT8，再转回FP32（伪量化）。

  • 对激活值（每层的输出）：同样模拟INT8计算。

• 关键细节：

  • 伪量化会引入误差（比如四舍五入），但误差会被反向传播“感知”到，模型会自我调整。

  • 反向传播时，用**直通估计器（STE）**绕过量化操作的梯度问题（简单理解：假装量化没误差，直接传梯度）。

第3步：导出真正的量化模型

• 训练完成后，模型已经学会了在低精度下工作，此时真正转成INT8，精度损失很小。

4. 卷积层的QAT

假设一个卷积层的权重是FP32，正常计算流程是：
输入 → 卷积计算（FP32） → 输出
QAT模式下：
输入 → 卷积计算（FP32） → 伪量化（模拟INT8） → 反量化（转回FP32） → 输出

• 前向传播：模型以为自己在用INT8计算（实际底层还是FP32）。

• 反向传播：梯度直接作用于原始的FP32权重，绕过量化误差（STE的作用）。

5. QAT vs PTQ 

• PTQ（训练后量化）：直接压缩模型，像强行把大人衣服改小，可能不合身。

• QAT（量化感知训练）：边改衣服边让模型试穿，直到改好的衣服完全合身。
  结果：QAT的模型压缩后精度更高，尤其对复杂任务（如目标检测）优势明显。

6. QAT的代价

• 计算成本：训练时间变长（因为要模拟量化误差）。

• 调参技巧：学习率、量化范围等参数需要仔细调整。

• 硬件适配：量化方案必须匹配部署硬件（比如手机芯片只支持特定格式）。

7.QAT的本质

QAT = 提前让模型“体验”被压缩的感觉 + 边体验边学习适应
就像运动员在高原训练（模拟缺氧环境），比赛时到高原就能发挥更好。
掌握QAT，你就能帮大公司把AI模型塞进手机、摄像头甚至手表里！