模型量化基础知识 - PTQ - 训练后量化

文章目录一、PTQ 是什么二、PTQ 的标准流程五大步骤✅ Step 0准备 FP 模型Baseline✅ Step 1插入量化节点Quantization Simulation✅ Step 2校准Calibration✅ Step 3确定量化方案Policy✅ Step 4导出量化模型Encodings Graph✅ Step 5验证与部署三、用一句话总结 PTQ 全流程四、一个极简流程图工程版五、什么时候 PTQ 不够用✅ 最后一句工程总结课后题一、为什么说 PTQ 的“理论上限”就是逼近当前 FP 模型1️⃣ PTQ 在做什么抽象层面2️⃣ 为什么再多 trick 也只能“无限逼近”二、那 QAT → dequant 回 BF16为什么会“更量化友好”1️⃣ QAT 真正学到的是什么2️⃣ dequant 回 BF16 后发生了什么三、从“工程视角”把两条路线放在一起看四、一个判断标准决定“值不值得做 QAT-dequant”下面我们用工程视角把PTQPost‑Training Quantization训练后量化的基本流程完整梳理一遍。可以把它当成一条标准流水线无论是 TensorRT / PyTorch / QNN本质步骤都高度一致。一、PTQ 是什么PTQ 的核心特点是✅模型已经训练完成✅不再反向训练、不更新权重✅ 通过少量代表性数据计算量化参数encodingsPTQ 主要解决的是如何在不重新训练的前提下把 FP32/FP16 模型安全地变成 INT8 / INT16 / 混合精度模型。二、PTQ 的标准流程五大步骤✅ Step 0准备 FP 模型Baseline输入已训练好的 FP32 / FP16 模型通常先做图优化fold BN、常量折叠确认算子在目标硬件上可量化这是后续所有步骤的基础。✅ Step 1插入量化节点Quantization Simulation在模型图中插入“量化器Quantizer / Observer”权重前模拟weight quant激活后模拟activation quant此时计算仍然是 FP但数值会被“压到量化网格上”用来评估量化误差这一步通常叫Quantization SimulationFake QuantQuantSim✅ Step 2校准Calibration这是PTQ 最核心的一步。做什么用少量代表性数据跑模型 forward统计各层激活 / 权重的min / max或直方图 / percentile / KL目的计算每个量化器的 scale 和 zero_point也即之前提到的encodings⚠️ 权重的 encodings 通常可直接算⚠️激活的 encodings 必须依赖校准数据✅ Step 3确定量化方案Policy在校准完成后需要做策略选择对称 vs 非对称per‑tensor / per‑channel / per‑block哪些层INT8INT16FP16混合精度这一步往往结合量化敏感度分析精度 / 性能 trade‑off✅ Step 4导出量化模型Encodings Graph输出通常包括两部分量化后的模型结构权重已是 INT8 / INT16encodings 文件scalezero_pointbitwidth这些会被交给TensorRTQNNNPU 编译器用于生成真正的整数推理图。✅ Step 5验证与部署最后一定要做精度验证Top‑1 / BLEU / Rouge / ppl性能验证latency / throughput / power与 FP baseline 对齐如果精度不够回到 Step 3做 mixed precision 或范围调整三、用一句话总结 PTQ 全流程PTQ 插量化器 → 跑校准数据 → 算 encodings → 固化量化参数 → 导出整数模型四、一个极简流程图工程版FP 模型 ↓ 插入 Quantizer仿真 ↓ Calibration跑少量数据 ↓ 计算 scale / zero_point ↓ 选择量化策略INT8 / INT16 / 混合 ↓ 导出量化模型 encodings ↓ 部署到目标硬件五、什么时候 PTQ 不够用当出现精度下降明显LLM / Attention 特别敏感低 bit≤ INT4 就需要QATAWQ / GPTQ / SmoothQuant 等高级方案但仍然以 PTQ 思想为基础✅ 最后一句工程总结PTQ 是“用最小成本把训练好的模型推向可部署状态”的量化方案也是所有高级量化技术的起点。课后题PTQ只能无限逼近浮点模型的精度吗QAT做完再dequant回bf16的模型能让模型对量化更友好PTQ 本身的上限确实是“在给定量化格式下尽量逼近当前浮点模型的行为”它不会改变模型对量化误差的“内在敏感性”只能在既定 FP 权重分布下做最优近似。QAT → 再 dequant 回 BF16/FP16确实可以让模型“对量化更友好” 但这不是魔法它本质上是用量化噪声当正则重新塑造权重 / 激活分布使其更容易被低比特表示。换句话说✅QAT-dequant ≠ 提升 FP 模型“绝对精度”✅QAT-dequant 提升 FP 模型“可量化性quantizability”一、为什么说 PTQ 的“理论上限”就是逼近当前 FP 模型1️⃣ PTQ 在做什么抽象层面不管我们用的是min/max / percentileGPTQ / AdaRound / SpinQuantCLE / BN re-estimationPTQ 都遵循同一个约束✅不允许修改 FP 模型的“功能形式”✅ 只能在固定 FP 权重 固定前向结构下找一个量化表示形式化一点min ⁡ quant params ∥ f quant ( x ) − f fp ( x ) ∥ \min_{\text{quant params}} \; \| f_{\text{quant}}(x) - f_{\text{fp}}(x) \|quant paramsmin​∥fquant​(x)−ffp​(x)∥也就是说目标函数是 FP 模型FP 模型本身不动2️⃣ 为什么再多 trick 也只能“无限逼近”即便用二阶信息GPTQ残差补偿更复杂的 rounding search如果 FP 权重分布本身是有极端 outlierLN / exp 前激活分布重尾某些层对 scale 特别敏感 那 PTQ 能做的只是把误差挪一挪在不同 token / channel 之间平衡损失但它无法改变权重是否“天生适合 4bit / 8bit”激活分布是否“量化友好”所以我们看到的现象通常是PTQ接近 FP但总差一点而且 bitwidth 越低gap 越“刚性”二、那 QAT → dequant 回 BF16为什么会“更量化友好”这是一个非常容易被误解、但在工程上极其重要的点。1️⃣ QAT 真正学到的是什么QAT 的训练目标并不是“把 FP 精度训得更高”而是min ⁡ E x [ ∥ f fake-quant ( x ) − y ∥ ] \min \; \mathbb{E}_{x} \left[ \| f_{\text{fake-quant}}(x) - y \| \right]minEx​[∥ffake-quant​(x)−y∥]也就是说前向里长期暴露在量化噪声下梯度会逼着模型去“适应这个噪声模型”结果是模型会自发地压缩权重动态范围减少对单点 outlier 的依赖让重要信息集中在“量化 bins 的中心”让激活分布更接近对称 / 稳定 这些都是“对量化友好”的结构性变化2️⃣ dequant 回 BF16 后发生了什么这是关键点dequant 并不会把模型“变回原来的 FP 模型”我们得到的是一个新的 BF16 模型θ bf16 QAT-dequant ≠ θ bf16 orig \theta_{\text{bf16}}^{\text{QAT-dequant}} \neq \theta_{\text{bf16}}^{\text{orig}}θbf16QAT-dequant​θbf16orig​它具备两个特性功能上接近原模型参数分布是“为量化优化过的”所以我们会看到非常典型的工程现象原 FP → PTQW4A16 掉很多QAT → dequant → 再 PTQ同样 W4A16明显稳很多calibration 不那么敏感GPTQ / SpinQuant 更容易收敛三、从“工程视角”把两条路线放在一起看路线本质能解决什么解决不了什么PTQ only近似固定 FP快、无需训练FP 模型本身“不可量化”的问题QAT → dequant重塑模型分布提升可量化性需要训练成本QAT → PTQ最常见工业解稳定低 bit PTQ不是 0 成本PTQ GPTQ最优逼近推极限上限仍由 FP 决定一句非常工程化的总结PTQ 是“压缩器”QAT 是“为压缩而重新设计内容”四、一个判断标准决定“值不值得做 QAT-dequant”可以用这个经验判断✅W8A8 / W8A16 已经很稳→ QAT-dequant 意义不大✅W4A16 / W4A8 / KV quant 非常敏感→QAT-dequant 非常值得✅同一模型不同 PTQ notebook 结果差异巨大→ 模型本身量化脆弱QAT 很可能是“治本”