深度学习——自注意力机制和位置编码（笔记）

1.自注意力：

①在深度学习中，经常使用卷积神经网络或者循环神经网络对序列进行编码

②对于key,value和query，自注意力有一套自己的选法，因为key，value和query的值来自同一组输入。因此被称为自注意力或内部注意力

2.自注意力介绍

 

①给定序列是一个长为n的序列，每个xi是一个长为d的向量。

②自注意力xi同时作为key,value,query。来对序列抽取特征。

③给定一个序列，对序列的每个元素进行输出。每个查询都会关注所有的（键-值对）并生成一个注意力输出。

④自注意力机制xi是key,value,query都来自本身

3.自注意力和CNN，RNN相比

①CNN,RNN,自注意力都可以用来处理序列。

②CNN处理一个序列：给定一个序列，将其看作是一个一维的输入（处理图片时，图片有高和宽，每个像素有channel数，也就是特征数）。经过一个1d卷积，只有宽没有高之后，每个元素的特征看作是channel数，处理文本序列。

③k：窗口大小，看到的是长度k.

n:长度

d:dimension，每个x的维度

④并行度：GPU并行单元，并行度高，计算速度快。

⑤最长路径：对于最长的序列，前面时刻的信息通过神经元传递到后面时刻。

⑥卷积神经网络和自注意力都有并行计算的优势，而且自注意力的最长路径最短。但是自注意力的复杂度是序列长度n的2次方，计算起来慢。

4.位置编码

①和CNN/RNN不同，自注意力并没有记录位置信息。

ⅠCNN中也有记录位置信息的，从输出反推到输入的所在窗口的位置，窗口大小就是位置信息

ⅡRNN本身是序列相关的，通过逐个的重复处理词元。

Ⅲ自注意力来说，输入的位置打乱，输出位置会变化，但是每个输出的内容不变。

Ⅳ纯自注意力信息做模型，没有位置信息出现问题，通过加入位置编码来获得位置信息。

 

Ⅰ位置编码不是把位置信息加入模型，一旦位置信息加入模型，出现问题。CNN需要看成一个长序列，RNN降低模型的并行度

ⅡP中的每个元素根据对应的X中元素的位置不同而不同

③P的元素计算如下：

对于P的每一列，奇数列是一个cos函数，偶数列是一个sin函数，不同的列的周期不一样。

5.位置编码矩阵

①X是横坐标表示P矩阵的行数

②不同颜色代表不同的列

③在X轴任意一点表示P矩阵x行j列的元素值

④四条曲线6：sin函数。曲线7：cos函数，曲线8:sin函数。曲线9:cos函数

⑤P矩阵同一行，每个列元素是不同的。对于输入序列(X+P自编码输入)来讲。每个dimension的值是不同的。同样的对于一个输入序列，不同的样本加的值也是不同的

⑥P实际上是对每一个样本(row)，每一个维度(dimension)添加一点不一样的值，使得模型能够分辨细微差别，作为位置信息。

⑦改进：之前位置信息放进模型或者将位置信息与数据分开然后拼接。位置编码是直接将位置信息加入到了数据，这样做的好处是不改进模型和数据大小，缺点是需要模型对于P元素的细微信息进行辨认，取决于模型能否有效的使用P中的位置信息。

6.位置矩阵编码可以认为和计算机的二进制相似

①首先，位置编码是实数，是在1和-1之间进行实数变化，所以能编码的范围更广。可以在任意多的维度上进行编码

②位置编码sin和cos周期函数，具有周期性。

①上图是一个热度图，X表示特征，Y表示样本

②每一行的位置信息进行编码，将第i个样本用一个长为d的向量编码。

③核心思想：对序列的第i个样本，给定长为d的独一无二的位置信息。然后加入到数据中作为自编码输入。使得模型能够看到数据的位置信息。

7.相对位置信息

 为什么要使用sin函数和cos函数？

编码是一个相对位置信息，位置位于i + σ处的位置编码可以线性投影位置i处的位置编码来表示。与i无关，和相对σ有关。

 ①投影矩阵和序列中的位置i是无关的，但是和 j 是相关的（和 dimension 的信息是相关的），意味着在一个序列中，假设一个词出现在另外一个词两个或者三个位置的时候，不管这对词出现在序列中的什么位置，对于位置信息来讲，都是可以通过一个同样的线性变换查找出来的

②相对来讲，这样编码的好处在于模型能够更加关注相对的位置信息，而不是关注一个词出现在一个句子中的绝对位置

【总结】

1、自注意力池化层将 xi 当作 key，value，query 来对序列抽取特征

2、完全并行、最长序列为1、但对长序列计算复杂度高

①可以完全并行，和CNN是一样的，所以计算效率比较高

②最长序列为1，对于任何一个输出都能够看到整个序列信息，所以这也是为什么当处理的文本比较大、序列比较长的时候，通常会用注意力和自注意力

③但是问题是对长序列的计算复杂度比较高，这也是一大痛点

3、位置编码在输入中加入位置信息，使得自注意力能够记忆位置信息

①类似于计算机的数字编码，对每个样本，给定一个长为 d 的编码

②编码使用的是 sin 函数或者是 cos 函数，使得它对于序列中两个固定距离的位置编码，不管它们处于序列中的哪个位置，他们的编码信息都能够通过一个线性变换进行转换。