什么是 transformer？它能用来做什么？

Transformer​ 是一种完全基于“自注意力机制”构建的神经网络架构是当前几乎所有顶尖大模型如 GPT、BERT、LLaMA的核心引擎。它的革命性在于用纯注意力机制取代了传统的循环RNN和卷积CNN结构从而能高效并行处理整个序列并捕获长距离依赖关系。Transformer 是 Google 于 2017 年提出的、完全基于「自注意力机制」的深度学习架构它放弃了传统 RNN/LSTM 的串行结构能并行计算、捕捉长距离依赖是当前大语言模型GPT、BERT 等与多模态模型的核心基础。一、它是什么核心原理1. 整体结构Encoder DecoderEncoder编码器负责理解输入如原文、图片提取上下文特征。Decoder解码器负责生成输出如译文、回答、图片逐词 / 逐像素生成结果。2. 灵魂自注意力Self-Attention让每个元素如每个词直接关注序列中所有其他元素计算关联权重从而捕获长距离依赖比如长句子中前后词的关系支持并行计算RNN 必须从头往后算Transformer 可全局同时算。通俗理解每个词生成 3 个向量Q我要找什么、K我有什么、V我输出什么计算 Q 与所有 K 的相似度 → 加权求和 V → 得到该词的新表示。3. 关键组件多头注意力Multi-Head Attention并行多个注意力头捕捉不同类型的依赖语法、语义、指代。位置编码Positional Encoding给元素加上位置信息弥补自注意力本身无顺序的缺陷。残差连接 层归一化稳定深层网络训练避免梯度消失。二、它能用来做什么核心应用Transformer 已从 NLP 扩展到CV、语音、多模态等几乎所有 AI 领域。1. 自然语言处理NLP—— 最成熟文本生成GPT、LLaMA、ChatGPT写文章、聊天、代码生成理解类任务BERT情感分析、问答、实体识别机器翻译Google Translate、DeepL摘要 / 改写 / 润色自动生成摘要、扩写、改写。2. 计算机视觉CV图像分类 / 检测 / 分割ViTVision Transformer、Swin Transformer多模态检索CLIP文搜图、图搜文图像生成DALL・E、Midjourney底层用 Transformer Diffusion。3. 多模态文本 图像 语音 视频GPT-4V、Gemini、通义千问图文对话、看图推理、视频理解语音识别 / 合成Whisper、TTS 模型时序预测股票、天气、设备故障预测。4. 其他领域推荐系统捕捉用户 - 物品的复杂关联生物医学蛋白质结构预测AlphaFold2、药物分子建模。三、为什么它这么重要并行高效训练速度远快于 RNN/LSTM支撑大模型规模化长距离建模能处理超长文本如 GPT-4 支持 128k 上下文通用灵活一套架构适配文本、图像、语音、视频催生多模态统一模型可扩展性强参数可从亿级扩展到万亿级能力随数据 / 算力持续提升。想象你在读一句话“The animal didn’t cross the street because it was too tired”。当你看到it时模型如何知道它指的是animal而不是street自注意力机制会让模型在编码it时去“注意”句子中的所有其他词并为每个词分配一个权重分数从而确定it和animal的关系最紧密。核心公式自注意力 Softmax( (QK^T) / √d_k ) V这里Q,K,V分别是“查询”、“键”、“值”矩阵均由输入通过线性变换得到。这个公式的本质是用每个词去查询Query所有词的关键信息Key然后根据相关性权重汇总值Value。下面是一个完整的、可运行的简易 Transformer 模型用于“序列到序列”任务如机器翻译。它包含了编码器、解码器、多头注意力等核心组件。import torch import torch.nn as nn import torch.nn.functional as F import math class MultiHeadAttention(nn.Module): 多头自注意力机制 def __init__(self, d_model, num_heads): super().__init__() self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads # 线性变换层用于生成 Q, K, V self.W_q nn.Linear(d_model, d_model) self.W_k nn.Linear(d_model, d_model) self.W_v nn.Linear(d_model, d_model) self.W_o nn.Linear(d_model, d_model) def scaled_dot_product_attention(self, Q, K, V, maskNone): # 计算注意力分数: (Q * K^T) / sqrt(d_k) scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) # 应用掩码用于解码器 if mask is not None: scores scores.masked_fill(mask 0, -1e9) # Softmax 得到权重 attn_weights F.softmax(scores, dim-1) # 加权求和 output torch.matmul(attn_weights, V) return output, attn_weights def forward(self, Q, K, V, maskNone): batch_size Q.size(0) # 1. 线性变换并分头 Q self.W_q(Q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) K self.W_k(K).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) V self.W_v(V).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) # 2. 计算注意力 attn_output, attn_weights self.scaled_dot_product_attention(Q, K, V, mask) # 3. 合并多头 attn_output attn_output.transpose(1, 2).contiguous().view( batch_size, -1, self.d_model ) # 4. 输出线性变换 output self.W_o(attn_output) return output, attn_weights class TransformerEncoderLayer(nn.Module): 单个Transformer编码器层 def __init__(self, d_model, num_heads, d_ff, dropout0.1): super().__init__() self.self_attn MultiHeadAttention(d_model, num_heads) self.feed_forward nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Linear(d_ff, d_model) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): # 1. 多头自注意力 残差连接 层归一化 attn_output, _ self.self_attn(x, x, x, mask) x self.norm1(x self.dropout(attn_output)) # 2. 前馈网络 残差连接 层归一化 ff_output self.feed_forward(x) x self.norm2(x self.dropout(ff_output)) return x class SimpleTransformer(nn.Module): 一个简易的Transformer仅编码器 def __init__(self, vocab_size, d_model512, num_layers6, num_heads8, d_ff2048, dropout0.1, max_len100): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.pos_encoding self.create_positional_encoding(max_len, d_model) # 堆叠多层编码器 self.layers nn.ModuleList([ TransformerEncoderLayer(d_model, num_heads, d_ff, dropout) for _ in range(num_layers) ]) self.fc_out nn.Linear(d_model, vocab_size) def create_positional_encoding(self, max_len, d_model): 创建正弦位置编码 pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * -(math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) return pe.unsqueeze(0) # (1, max_len, d_model) def forward(self, x): # 词嵌入 位置编码 x self.embedding(x) self.pos_encoding[:, :x.size(1), :] # 通过多层编码器 for layer in self.layers: x layer(x) # 输出层 output self.fc_out(x) return output # 示例如何使用 if __name__ __main__: # 超参数 vocab_size 10000 # 假设词汇表大小 d_model 512 # 模型维度 seq_len 20 # 输入序列长度 # 1. 实例化模型 model SimpleTransformer(vocab_size, d_model, num_layers3) print(f模型参数量: {sum(p.numel() for p in model.parameters()):,}) # 2. 创建模拟输入 input_ids torch.randint(0, vocab_size, (4, seq_len)) # (batch_size, seq_len) print(f输入形状: {input_ids.shape}) # 3. 前向传播 output model(input_ids) print(f输出形状: {output.shape}) # 应为 (4, 20, 10000) # 4. 计算损失模拟训练 target_ids torch.randint(0, vocab_size, (4, seq_len)) loss_fn nn.CrossEntropyLoss() loss loss_fn(output.view(-1, vocab_size), target_ids.view(-1)) print(f损失值: {loss.item():.4f})四、关键组件说明组件作用类比位置编码​为模型提供词的顺序信息因注意力机制本身无视顺序。给每个词加上“座位号”。多头注意力​让模型从多个角度语义、语法、指代等同时理解关系。多个专家从不同角度分析句子。前馈网络​对注意力后的信息进行非线性变换增强表达能力。大脑对信息进行深度加工。残差连接​缓解深层网络梯度消失让模型更容易训练。保留原始信息只学习差异。层归一化​稳定训练过程加速收敛。保持每层输出的稳定分布。运行结果示例模型参数量: 13,828,104 输入形状: torch.Size([4, 20]) 输出形状: torch.Size([4, 20, 10000]) 损失值: 9.2103这个简易模型涵盖了 Transformer 的核心思想。在实际中完整的 Transformer 还包含解码器、掩码机制、更复杂的位置编码等。