动手学深度学习｜LeNet 超详细讲解：第一个经典卷积神经网络是怎么工作的？

前言在学习完卷积层、池化层之后我们终于来到了卷积神经网络发展史上一个非常经典的模型——LeNet。它虽然结构不深放到今天看甚至有点“朴素”但它的意义非常大LeNet 是深度学习历史上最早一批成功应用的卷积神经网络之一。很多现代 CNN 的基本设计思路其实都能在 LeNet 身上找到影子比如卷积层提取局部特征池化层进行下采样多层特征逐步抽象最后接全连接层进行分类所以LeNet 不只是“一个老模型”更像是卷积神经网络的启蒙模板。一、什么是 LeNetLeNet 一般指LeNet-5是由Yann LeCun等人提出的经典卷积神经网络最早主要用于手写数字识别。它最著名的应用场景就是输入一张手写数字图片模型判断这是 0~9 中的哪一个数字LeNet 的出现说明了一件很重要的事神经网络可以直接从图像中自动学习特征而不一定非要人工设计特征。这在当时是很有突破性的。二、LeNet 的核心思想是什么LeNet 的核心思想其实非常朴素1. 先用卷积层提取局部特征例如边缘、笔画、局部形状等。2. 再用池化层降低分辨率一边压缩信息一边增强特征鲁棒性。3. 逐层提取更高级特征前面学的是边缘后面慢慢学到更复杂的数字结构。4. 最后用全连接层完成分类把提取到的特征映射到具体类别。三、LeNet 的整体结构四、LeNet 每一层到底在干什么下面我们一层一层拆开讲。1. 输入层2. 第一层卷积层3. 第一层池化层4. 第二层卷积层5. 第二层池化层6. 展平Flatten7. 第一个全连接层把 400 维映射到 120 维[400 \rightarrow 120]这一层开始把卷积提取到的空间特征进行综合。8. 第二个全连接层继续映射[120 \rightarrow 84]这一层相当于进一步压缩和组合特征。9. 输出层最后输出 10 个神经元[84 \rightarrow 10]分别对应数字类别0123456789最终哪个输出值最大就预测为哪个数字。五、LeNet 的结构图可以怎么理解你可以把 LeNet 理解成这样一个流程前半部分卷积 池化负责从图像中提取特征。后半部分全连接负责根据提取到的特征做分类。也就是前面负责“看图”后面负责“判断这是什么”这是很多早期 CNN 的基本范式。六、LeNet 为什么重要LeNet 之所以重要不是因为它现在性能最强而是因为它奠定了 CNN 的基本框架。它至少有三层重要意义。1. 它证明了卷积神经网络是可行的在 LeNet 之前图像识别往往更依赖人工特征设计。LeNet 说明网络可以自己从数据中学习特征。这为后面的 AlexNet、VGG、ResNet 打下了基础。2. 它引入了局部连接和权重共享思想卷积层最核心的两个思想就是局部连接每个神经元只看输入的一小块区域而不是连接整张图。权重共享同一个卷积核在整张图上滑动使用参数不会因为位置不同而变。这两个思想让图像处理变得更高效也更符合图像的空间结构特点。3. 它体现了“分层特征提取”的思想LeNet 告诉我们浅层提取低级特征深层组合成高级特征最终完成分类这就是深度学习里非常核心的“层次化表示学习”思想。七、LeNet 有哪些优点1. 结构清晰非常适合入门LeNet 的层数不多逻辑特别清楚很适合理解 CNN 的基本工作机制。2. 计算量相对较小相比现代深层网络LeNet 非常轻量。3. 对手写数字这类简单任务效果不错在早期任务上它已经很实用了。八、LeNet 的局限性是什么虽然 LeNet 很经典但它也有明显局限。1. 网络太浅只有少数几层特征提取能力有限。2. 通道数较少例如只有 6、16 个通道表示能力比较弱。3. 更适合简单图像任务面对 ImageNet 这种复杂自然图像任务LeNet 就远远不够了。4. 使用平均池化较多现代 CNN 更常见的是最大池化或者干脆用步幅卷积替代池化。九、PyTorch 如何实现 LeNet下面给出一个很经典、很适合初学者理解的 LeNet 实现。import torch from torch import nn class LeNet(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding0), # 1x32x32 - 6x28x28 nn.Sigmoid(), nn.AvgPool2d(kernel_size2, stride2), # 6x28x28 - 6x14x14 nn.Conv2d(6, 16, kernel_size5), # 6x14x14 - 16x10x10 nn.Sigmoid(), nn.AvgPool2d(kernel_size2, stride2), # 16x10x10 - 16x5x5 nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(), nn.Linear(120, 84), nn.Sigmoid(), nn.Linear(84, 10) ) def forward(self, x): return self.net(x) x torch.randn(1, 1, 32, 32) model LeNet() y model(x) print(y.shape)输出结果torch.Size([1, 10])说明模型最终输出 10 个类别分数。十、为什么这里用的是 Sigmoid你可能会发现LeNet 的代码里常常使用Sigmoid而不是现在更流行的ReLU。这是因为LeNet 提出的年代比较早当时神经网络里常用的激活函数就是Sigmoid或tanh但从现代深度学习实践来看ReLU往往训练更快梯度传播更稳定更适合深层网络所以如果你是为了现代实验很多时候也会把 LeNet 中的Sigmoid改成ReLU。十一、LeNet 学习时最容易混淆的点这里我帮你总结几个初学者最容易混淆的地方。1. 卷积层和池化层都在缩小尺寸但作用不同卷积层主要目的是提取特征。池化层主要目的是下采样和压缩信息。2. 卷积层会改变通道数池化层通常不会比如卷积1 - 6池化6 - 6池化一般只是让高宽变小不改通道数。3. LeNet 的重点不只是“会背结构”更重要的是理解为什么先卷积再池化为什么越往后通道数越多为什么最后还要接全连接层十二、LeNet 对后续网络有什么启发LeNet 虽然简单但后面的经典网络几乎都沿着它的思路继续发展。比如AlexNet网络更深通道更多用 ReLU 替代 Sigmoid在大规模图像任务上取得突破VGG用更多小卷积核堆叠结构更加规整ResNet解决深层网络训练困难问题引入残差连接可以说LeNet 是 CNN 的起点后面的经典网络都是在它基础上不断强化和改进。十三、总结LeNet 这一节最核心的内容你要记住下面这些1. LeNet 是经典的早期卷积神经网络主要用于手写数字识别。2. LeNet 的基本结构是卷积 池化 卷积 池化 全连接 输出3. 卷积层负责提取特征从低级边缘到高级结构逐层抽象。4. 池化层负责下采样减少计算量保留主要信息。5. 全连接层负责分类把提取到的特征映射到最终类别。6. LeNet 的历史意义非常大它奠定了后续 CNN 的基本设计思想。十四、结尾LeNet 是一个非常适合入门 CNN 的模型。它不复杂但麻雀虽小五脏俱全。卷积层、池化层、全连接层这些核心模块在 LeNet 里都能看到完整雏形。所以学 LeNet不只是学一个老模型而是在学卷积神经网络最基本、最经典的工作逻辑。如果你愿意我下一条可以继续直接给你写下一篇《AlexNet 超详细讲解》这样你就可以按这个顺序连续更新博客池化层 → LeNet → AlexNet → VGG → NiN → GoogLeNet