Transformer的前世今生 day10（Transformer编码器

前情提要

ResNet（残差网络）

• 由于我们加更多层，更复杂的模型并不总会改进精度，可能会让模型与真实值越来越远，如下：
  
• 我们想要实现，加上一个层把并不会让模型变复杂，即没有它也没关系，于是我们将残差块加入快速通道来实现，如下：
  • g(x)作为激活函数的输入，x作为模型的输入，f(x)为加上的层的输出，那么原本g(x) = f(x)
  • 加入残差块x后，g(x) = f(x) + x，表明即使f(x)没有得出很好的结果，那我也可以直接用x来作为激活函数的输入，绕过f(x)
    
• 残差块使很深的网络更加容易训练，因为我们总可以走快速通道让模型忽略掉某些层，即我们可以先训练容易的层