每天五分钟深度学习PyTorch：向更深的卷积神经网络挑战的ResNet

本文重点

ResNet大名鼎鼎，它是由何恺明团队设计的，它获取了2015年ImageNet冠军，它很好的解决了当神经网络层数过多出现的难以训练的问题，它创造性的设计了跳跃连接的方式，使得卷积神经网络的层数出现了大幅度提升，设置可以达到上千层，可以说resnet对于网络模型的设计具有深远的意义。

ResNet的背景与动机

在传统的深度神经网络中，随着网络层数的增加，训练误差会逐渐增大，这种现象被称为“退化”。这并不意味着网络过拟合，因为过拟合通常表现为训练误差减小而测试误差增大。退化问题表明，深层网络难以通过简单的堆叠层数来提高性能。ResNet的提出正是为了解决这个问题，它允许网络学习更深层次的结构，而不遭受退化问题的影响。

ResNet的核心思想——残差学习

ResNet的核心创新是残差块（Residual Block）。一个标准的残差块包含两个或更多的卷积层，以及一个从输入直接连接到块输出的“捷径连接”（Shortcut Connection）。这个捷径连接允许输入信号直接传递到块的输出端，与经过卷积层处理后的信号相加。这样，残差块的目标就变成了学习一个残差函数，即输入到输出之间的差异，而不是整个映射函数。