yolov5 剪枝、蒸馏、压缩、量化

---

考察神经网络时期重要的激活函数sigmoid和tanh，它们有一个特点，即输入值较大或者较小的时候，其导数变得很小，而在训练阶段（详见1.2.3节），需要求取多个导数值，并将每层得到的导数值相乘，这样一旦层数增加，多个很小的导数值相乘，结果便趋于零，即所谓梯度消失问题[插图]，

这将会导致靠近输入层的隐含层的学习效果也趋于零。而靠近输入层的隐含层参数无法学习，就意味着它的值类似随机生成，那么有具体现实意义的输入层经过这些隐含层后会被变换成无意义的信息，继续沿着神经网络往后传递一直到输出层，也就无法得出有效的结论了。所以，深度神经网络很难训练。在深度学习中，除了改进激活函数使用ReLU函数，还提出了逐层预训练等方法来解决这个问题。

OpenCV深度学习模块 >> 深度学习模块是OpenCV为支持基于深度学习的计算机视觉应用所加入的新特性。OpenCV DNN模块于OpenCV 3.1版本开始出现在opencv_contrib库中，从3.3版本开始被纳入OpenCV核心库。本节主要讲解OpenCV深度学习模块的实现原理和主要特性，通过这些内容，读者可以对OpenCV DNN有一个总体了解，并对OpenCV深度学习模块的应用代码有一个初步的印象。作为计算机视觉领域的“标准库”，OpenC