卷积神经网络的剪枝及其在嵌入式视觉系统中的应用

卷积神经网络的剪枝及其在嵌入式视觉系统中的应用

摘要

在过去的十年里，计算机视觉的最新技术一直是由深度神经网络，特别是卷积神经网络所控制的。无论是分类、语义分割还是目标检测，神经网络现在都是一个无可争议的首选。因此，它们现在被认为是许多工业应用的必要条件，如自动驾驶。这就是为什么许多公司，如斯坦兰蒂斯公司，现在表现出使人工智能成为他们未来活动的关键部分的新野心的原因。

不幸的是，神经网络令人印象深刻的性能带来了代价：算法的复杂性、内存占用和能量消耗在嵌入式硬件上是不可行的，比如那些在处理能力有限的车辆上发现的硬件。降低这些成本不是一个简单的问题，因为它通常意味着降低网络的性能；这就是为什么文献的后续部分致力于设计网络或生产它们的方法，这样做更有效，并允许在性能、健壮性、功耗、内存占用、延迟和散热之间进行更好的权衡。这种深度学习的领域被称为神经网络压缩。

该领域包括多个家族的方法，包括剪枝，自2015年以来在文献中特别流行。它的基本原则是通过删除被认为是不必要的部分来简化网络，即可以在不损害网络性能的情况下删除这些部分。这是本文所关注的一类具体的方法。

在这篇论文中，修剪迅速被证明隐藏了一个令人惊讶的复杂性，无论是理论的还是实践的：当在一个网络中有数百万个参数时，如何预测一组参数的实际重要性？去除这些参数如何能降低网络的成本，而处理器可能无法利用稀疏矩阵乘法？我们应该如何删除参数，以免干扰训练和损害其表现？所有这些问题一开始可能不会立即想到，但实际上构建了整个修剪的文献，每一个问题都对修剪的成功提高神经网络效率的能力有至关重要的影响。

为了解决这些问题，我们决定结构的章节手稿在我们确定的主要维度描述剪枝：在介绍章和另一个致力于必要的背景理解的上下文，四个主要章节分别解决剪枝标准，删除方法，剪枝上的结构和剪枝网络的实现硬件；这四个方面分别回答了四个问题：如何判断一个部分是不必要的，所以我们可以删除它；如何有效地删除它；要删除什么类型的部件，以及如何确保引入的稀疏性可以在硬件上有效地利用。

参考文献：

Hugo Tessier. Convolutional neural networks pruning and its application to embedded vision systems. Artificial Intelligence [cs.AI]. Ecole nationale supérieure Mines-Télécom Atlantique, 2023. English.