深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现

深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现
Q-YOLO: Efficient Inference for Real-time Object Detection
PDF: https://arxiv.org/pdf/2307.04816.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

本文介绍了一种低比特量化方法，名为Q-YOLO，用于构建高效的一阶段检测器。Q-YOLO能够有效解决传统量化YOLO模型中由于激活分布不平衡而导致的性能下降问题。Q-YOLO引入了完全端到端的后训练量化（PTQ）流程，并采用了精心设计的单侧直方图（UH）激活量化方案。该方案通过直方图分析确定最大截断值，从而最小化均方误差（MSE）量化误差。在COCO数据集上进行了大量实验，结果表明Q-YOLO的有效性，它在精度和计算成本之间取得了更有利的平衡，并且优于其他PTQ方法。

在YOLOv5s模型的model.21.conv层中绘制了激活值分布直方图（使用2048个箱子）。观察到值在0和-0.2785之间的出现频率非常高，而大于零的值的频率显著减少，这表明激活值存在严重的不平衡现象。

2 Q-YOLO

Q-YOLO对YOLO模型的骨干、中间和头部模块进行量化，并使用标准的MinMax量化方法对权重进行处理。为了解决激活分布不平衡的问题，我们引入了一种新颖的方法，称为基于单侧直方图（UH）的激活量化。UH通过直方图迭代地确定最大截断值，从而最小化量化误差。这种技术显著减少了校准时间，并有效地解决了量化引起的差异，优化了量化过程以保持稳定的激活量化。通过减少激活量化中的信息损失，我们的方法确保了准确的目标检测结果，从而实现了精确可靠的低比特实时目标检测性能。

量化范围设置是建立量化网格的上下截断阈值（分别表示为u和l）的过程。范围设置中的关键权衡在于两种类型的误差之间的平衡：截断误差和舍入误差。当数据被截断以适应预定义的网格限制时，就会产生截断误差。这种截断导致了信息的丢失，并降低了结果量化表示的精度。另一方面，舍入误差是由于舍入操作引入的不准确性而产生的。这种误差会随着时间的推移而累积，并对量化表示的整体准确性产生影响。
MinMax： 没有截断误差。但是对异常值很敏感，强烈的异常值可能会导致过多的舍入误差。
Mean Squared Error (MSE)：一定程度上可以缓解大异常值的问题。
Unilateral Histogram-based (UH)：本文观察到数值分布集中在下界附近，并伴随着在零以上的出现次数明显减少。对激活值的进一步分析揭示了经验值-0.2785作为下界。这主要是由于YOLO系列中频繁使用的Swish（SILU）激活函数导致的。根据经验证据，我们引入了一种称为单边基于直方图（UH）激活量化的非对称量化方法。在UH中，将最小截断值固定为-0.2785，同时通过迭代确定最小化量化误差的最大截断值，如下所示：

Unilateral Histogram-based (UH)如下：

UH激活量化方法具有两个关键优势。

• 首先，它显著减少了校准时间。
• 其次，它通过允许更大的整数集合来表示在0和-0.2785之间频繁出现的激活值，从而提高了量化精度，确保了稳定的激活量化。

3 Experiments