神经网络基础：从 RNN 的局限到 Transformer 的巅峰

前言在第一课和第二课中我们掌握了全连接网络和卷积网络CNN。全连接层擅长处理静态特征卷积层擅长处理空间特征图像。然而当面对序列数据如一句话、一段音频时数据之间的顺序和上下文关系变得至关重要。今天我们通过对比传统 RNN 结构深度拆解目前 AI 界的统治级架构——Transformer。一、 为什么抛弃 RNN背景与动机在 Transformer 问世之前RNN循环神经网络是处理序列的主力但它存在三大致命缺陷串行计算效率低RNN 必须等前一个词算完才能算下一个无法利用 GPU 并行加速不适合大模型训练。长距离依赖困境RNN 仅考虑相邻位置关系。如果句首和句尾有强关联RNN 很难捕捉到。特征固定词向量初始化后基本不变无法根据语境“重构”含义无法实现一词多义。二、 Transformer 整体架构Transformer 彻底抛弃了循环结构改用完全并行的编码器-解码器Encoder-Decoder架构。输入格式输入为 Batch × 序列长度 × 特征个数 的矩阵。编码器负责对输入进行深层特征提取。解码器利用编码器特征进行预测如翻译、生成。三、 注意力机制AttentionTransformer 的灵魂注意力机制的目的是让模型学会“区分重点”多关注重要特征忽略无用背景。1. Q、K、V 的直观理解Transformer 引入了三组向量来模拟“匹配”过程Q (Query - 查询向量)我要找什么K (Key - 键向量)我有什么特征可以提供参考V (Value - 值向量)我自身的实际特征内容是什么2. 计算流程内积匹配与特征重构计算关系分数Q 与 K 进行内积计算。内积越大表示两个词关系越近。归一化Softmax将分数转化为总和为 1 的权重。加权求和用权重去乘以 V得到融合了上下文信息的新特征。四、 进阶细节多头注意力与位置编码为了让 Transformer 更加鲁棒还加入了两个关键设计多头注意力Multi-Head Attention通过初始化多组 QKV让模型从多个维度视角去提取特征类似于 CNN 的多个卷积核。最后将多组特征拼接增强特征的多样性。位置编码Positional EncodingTransformer 本身不识别顺序认为“我打你”等于“你打我”。通过给每个词加上一个特定的“位置向量”让相同的词在不同位置产生不同的特征解决置换不变性问题。五、 解码器中的 Mask 机制解码器在生成序列时有一个特殊要求不能偷看未来。Mask 机制在训练时遮盖掉当前词之后的词。例如预测第 3 个词时Q 只能看前 2 个词的 K 和 V确保模型是根据已知信息进行预测。如果你觉得这篇文章有启发欢迎点赞、收藏并在评论区留下你的思考我们下期见。