LangChain+LLM实战---BERT主要的创新之处和注意力机制中的QKV

BERT主要的创新之处

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由Google在2018年提出。它的创新之处主要包括以下几个方面：

• 双向性（Bidirectional）：BERT是第一个采用双向Transformer架构进行预训练的模型。传统的语言模型如GPT（Generative Pre-trained Transformer）只能根据上下文左边的词预测当前词，而BERT引入了Masked Language Model（MLM）任务，将一部分输入文本中的词进行遮盖，然后通过双向Transformer来预测这些被遮盖的词，从而使模型能够同时获得左侧和右侧的上下文信息。
• 预训练与微调（Pretraining and Fine-tuning）：BERT采用两阶段的训练方法。首先，在大规模的未标记数据上进行预训练，通过预测被遮盖的词和句子级别的任务来学习通用的语言表示。然后，在特定任务上进行微调，使用标记的数据集来进一步调整模型参数，使其适应具体的下游任务，如文本分类、命名实体识别等。
• 预训练任务的多样性（Diverse Pretraining Tasks）：为了提高模型的泛化能力，BERT使用了多个预训练任务。除了MLM任务外，BERT还引入了句子级别的任务，即Next Sentence Prediction（NSP）。NSP任务要求模型判断两个句子是否是连续的，并学习句子级别的语义关系。这样的多样性任务设计使得BERT能够学习到更丰富的语言表示。
• Masked Language Model（MLM）：BERT中的MLM任务是通过将输入文本中的一部分词进行随机遮盖来训练模型。这样做的好处是模型需要通过上下文信息来预测被遮盖的词，从而更好地理解词之间的关联性和语义。MLM任务的引入使得BERT能够学习到更深层次的语言表示。
• 多层表示与多任务学习（Multi-layer Representation and Multi-task Learning）：BERT采用了多层Transformer编码器来编码输入序列的信息。这些编码器层之间可以进行信息的传递和交互，从而丰富了表示的表达能力。同时，BERT还可以通过微调阶段的多任务学习来提高模型的泛化性能，将不同的下游任务作为辅助任务来共同训练模型，使得模型能够学习到更通用的语言表示。

注意力机制中的QKV

在注意力机制（Attention Mechanism）中，Q、K和V代表查询（Query）、键（Key）和值（Value）。

• 查询（Query）（表示为Q）：查询是用于指定要关注的特定位置或特征的向量。在注意力机制中，查询向量用于计算与其他位置或特征的相似度，并决定在注意力权重计算中的重要程度。
• 键（Key）（表示为K）：键向量用于提供与查询向量的相似度比较。它可以看作是提供参考信息的向量。
• 值（Value）（表示为V）：值向量是根据注意力权重进行加权求和的向量。它包含了要传递给下一步的信息。

在注意力机制中，通过计算查询向量（Q）与键向量（K）之间的相似度，然后使用归一化的相似度得到注意力权重。最后，使用注意力权重对值向量（V）进行加权求和，得到最终的上下文表示或注意力输出。

注意力机制的计算可以用以下公式表示：

Attention(Q, K, V) = softmax(QK^T / sqrt(d_k))V

其中，d_k是查询和键的维度。softmax函数用于归一化相似度，使得注意力权重的总和为1。除以sqrt(d_k)是为了缩放相似度，以确保在计算过程中避免梯度爆炸或梯度消失的问题