Transformer入门（6）Transformer编码器的前馈网络、加法和归一化模块

---

7.前馈网络

编码器块中的前馈网络子层如下图所示：

图1.32 – 编码器块

前馈网络由两个带有ReLU激活函数的全连接层组成。全连接层（Fully Connected Layer）有时也称为密集层，即每一层的每个神经元都与上一层的所有神经元相连。在Transformer的前馈网络中，这样的密集层有两个。

第一个密集层将输入数据映射到一个更高维度的空间。

第二个密集层则将第一个密集层的输出映射回原始维度。

在这两个密集层之间，通常会加入ReLU（Rectified Linear Unit）激活函数。ReLU激活函数的定义如下：

f(x) = max(0,x)

这意味着，ReLU函数会将所有负数输入映射到0，而正数输入保持不变。ReLU激活函数有助于引入非线性因素，使得神经网络能够学习和模拟更复杂的函数。

前馈网络的参数在不同的句子位置上是相同的，但在不同的编码器块上是不同的。

在下一节中，我们将介绍编码器的另一个组件——加法和归一化组件。

8.加法和归一化组件

在Transformer的编码器中还有一个重要的组件，加法和归一化组件。它连接着一个子层的输入和输出。也就是说，如下图所示（虚线），我们可以观察到加法和归一化组件：

（1）将多头注意力子层的输入连接到其输出

（2）将前馈子层的输入连接到其输出

图1.33 – 带有加法和归一化组件的编码器块

加法和归一化组件基本上是一个残差连接，后面跟着层归一化。层归一化通过防止每层中的值发生重大变化，从而可以得到更快的训练。

现在我们已经了解了编码器的所有组件，让我们在下一节中将它们全部放在一起，看看编码器作为一个整体是如何工作的。

9.组合所有编码器组件构成完整编码器

下图显示了两个编码器的堆叠（为了看上去更加简洁清晰，只展开了编码器1）：

图1.34 – 编码器堆叠，仅编码器1展开

从图1.34所示的编码器中，我们可以看到：

（1）首先，我们将输入转换为输入嵌入（嵌入矩阵embedding matrix），然后添加位置编码（position encoding）并作为输入喂给最底层的编码器（encoder 1）。

（2）编码器1接收到输入后，将其发送到多头注意力（multi-head attention）子层，多头注意力子层运算后输出注意力矩阵（attention matrix）。

（3）将注意力矩阵作为输入喂给下一个子层——前馈网络。前馈网络接收注意力矩阵作为输入，并输出编码器表示（encoder representation）。

（4）接下来，我们取编码器1的输出（encoder representation）并将其作为输入喂给下一级编码器（encoder 2）。

（5）编码器2执行相同的流程，并输出给定输入句子的编码器表示（encoder representation）。

我们可以将N个编码器一个接一个地逐层堆叠；最后一级的编码器（最顶层编码器）获得的输出（encoder representation）将是给定输入句子的表示（representation）。让我们将最终编码器（在我们上面所举的例子中是编码器2）获得的编码器表示记为R。

我们取最终编码器（编码器2）获得的编码器表示R，并将其作为输入喂给解码器。解码器接收编码器表示R作为输入，并尝试生成目标句子。

现在我们已经理解了transformer的编码器部分，下一节我们将详细介绍解码器是如何工作的。

---

感谢您的阅读，欢迎关注！

---