从零构建大模型实战：数据处理与 GPT-2 完整实现

前言大模型的核心能力源于高质量数据与高效模型架构。数据收集与预处理是大模型训练的基石直接决定模型的泛化能力、知识覆盖度与生成质量而基于 Transformer 解码器的 GPT 类模型则是当前开源大模型的主流架构。本文从开源数据集处理、数据清洗去重、分词、数据加载器构建到完整 GPT-2 模型实现、参数量与显存分析提供全流程可运行代码与深度解析覆盖大模型工程化落地核心环节。本文全程使用 PythonPyTorch 实现依赖库包含torch、transformers、datasets、nltk、tqdm等所有代码可直接复制运行适配单机 GPU/CPU 环境。第一部分 大模型数据收集与预处理实战数据是大模型的 燃料开源数据集为大模型训练提供了低成本、高质量的语料来源。本章节聚焦主流开源数据集接入、全流程数据清洗、子词分词、数据加载器构建四大核心模块实现工业级数据预处理 pipeline。1.1 主流开源大模型数据集详解大模型训练的核心数据集分为通用语料、书籍语料、网页语料三大类覆盖百科、书籍、互联网网页等场景保证数据的多样性与知识覆盖度。1.1.1 核心开源数据集Wikipedia维基百科1特点结构化、高准确度、多语言通用百科知识无冗余噪声是大模型基础常识的核心来源2规模英文维基百科约 600 万篇文章200 亿 tokens3适用场景基础语义理解、知识问答、通用生成。BookCorpus书籍语料库1特点完整长文本、叙事逻辑强、句式丰富覆盖小说、传记、科技书籍提升大模型长文本生成能力2规模约 1.1 万本电子书10 亿 tokens3适用场景长文本理解、故事生成、逻辑推理。CommonCrawl互联网网页语料1特点规模最大、覆盖领域最广新闻、博客、论坛等数据多样性拉满但噪声最多2规模PB 级网页数据每年更新可提取万亿级 tokens3适用场景提升模型泛化能力、领域适配。补充数据集OpenWebTextReddit 高赞文章、The Pile综合性开源语料集均为大模型训练标配。1.1.2 数据集快速接入HuggingFace DatasetsHuggingFacedatasets库提供了一键加载主流开源数据集的能力无需手动下载文件代码如下# 安装依赖 # pip install datasets torch transformers nltk tqdm from datasets import load_dataset import nltk nltk.download(punkt) # 1. 加载维基百科数据集英文小规模子集快速测试 wiki_dataset load_dataset(wikipedia, 20220301.en, splittrain[:1%]) # 加载1%数据 print(维基百科数据示例, wiki_dataset[0][text][:200]) # 2. 加载BookCorpus数据集 book_dataset load_dataset(bookcorpus, splittrain[:1%]) print(书籍数据示例, book_dataset[0][text][:200]) # 3. 加载CommonCrawlCC100英文子集 cc_dataset load_dataset(cc100, langen, splittrain[:0.1%]) print(网页数据示例, cc_dataset[0][text][:200]) # 4. 合并多源数据集构建混合语料 from datasets import concatenate_datasets combined_dataset concatenate_datasets([wiki_dataset, book_dataset, cc_dataset]) print(合并后总样本数, len(combined_dataset))核心说明实际训练中需加载全量数据本文使用小规模子集用于实战演示合并多源数据可均衡知识覆盖度与文本多样性。1.2 数据全流程预处理清洗、去重、过滤、分词原始开源数据包含大量噪声乱码、短文本、重复文本、特殊符号必须经过清洗→过滤→去重→分词四步处理才能用于模型训练。1.2.1 数据清洗去除噪声、标准化文本清洗目标删除特殊字符、统一大小写、修复乱码、去除空文本、过滤无意义符号。代码如下import re import string def clean_text(text: str) - str: 文本清洗核心函数标准化、去噪声、去特殊字符 # 1. 转换为小写 text text.lower() # 2. 去除HTML标签、URL链接 text re.sub(r.*?, , text) text re.sub(rhttp\S|www.\S, , text) # 3. 去除多余空格、换行符 text re.sub(r\s, , text).strip() # 4. 去除标点符号以外的特殊字符保留英文标点与字母 allowed_chars set(string.ascii_lowercase string.punctuation ) text .join([c for c in text if c in allowed_chars]) # 5. 去除空文本 if len(text) 10: return return text # 对数据集批量清洗 cleaned_dataset combined_dataset.map(lambda x: {cleaned_text: clean_text(x[text])}) # 过滤空文本 cleaned_dataset cleaned_dataset.filter(lambda x: len(x[cleaned_text]) 0) print(清洗后样本示例, cleaned_dataset[0][cleaned_text][:200])1.2.2 数据过滤筛选高质量文本过滤目标删除过短 / 过长文本、低信息密度文本纯符号、重复字符。代码如下def filter_text(text: str, min_len50, max_len2048) - bool: 文本过滤长度约束 信息密度过滤 # 1. 长度过滤保留50-2048字符的文本适配大模型输入 if len(text) min_len or len(text) max_len: return False # 2. 过滤重复字符占比过高的文本如aaaaa char_count {} for c in text: char_count[c] char_count.get(c, 0) 1 max_char_ratio max(char_count.values()) / len(text) if max_char_ratio 0.3: # 单字符占比超过30%判定为低质量 return False return True # 批量过滤 filtered_dataset cleaned_dataset.filter(lambda x: filter_text(x[cleaned_text])) print(过滤后总样本数, len(filtered_dataset))1.2.3 数据去重消除重复语料重复文本会导致模型过拟合必须通过哈希去重实现高效去重。from hashlib import md5 def remove_duplicates(dataset): 基于MD5哈希的文本去重 seen_hashes set() unique_data [] for item in dataset: text item[cleaned_text] # 生成文本哈希值 text_hash md5(text.encode(utf-8)).hexdigest() if text_hash not in seen_hashes: seen_hashes.add(text_hash) unique_data.append(item) return unique_data # 执行去重 unique_data remove_duplicates(filtered_dataset) print(f去重后样本数{len(unique_data)})1.2.4 子词分词BPE/WordPiece大模型不使用单词 / 字符分词而是子词分词Subword Tokenization解决未登录词问题同时控制词汇表规模。主流分词算法BPEByte Pair EncodingGPT、GPT-2 使用WordPieceBERT、RoBERTa 使用。本文使用 GPT-2 原生 BPE 分词器代码如下from transformers import GPT2Tokenizer # 加载GPT-2官方BPE分词器 tokenizer GPT2Tokenizer.from_pretrained(gpt2) # 设置填充符GPT-2默认无填充符手动添加 tokenizer.pad_token tokenizer.eos_token tokenizer.padding_side right # 右侧填充 def tokenize_function(examples): 批量分词函数返回input_ids attention_mask return tokenizer( examples[cleaned_text], truncationTrue, # 超长文本截断 max_length512, # GPT-2标准输入长度 paddingmax_length, # 填充至最大长度 return_attention_maskTrue ) # 转换为字典格式适配分词函数 tokenizer_dataset [{text: item[cleaned_text]} for item in unique_data] from datasets import Dataset tokenizer_dataset Dataset.from_list(tokenizer_dataset) # 批量分词多线程加速 tokenized_dataset tokenizer_dataset.map(tokenize_function, batchedTrue, num_proc4) # 格式化模型输入只保留input_ids和attention_mask tokenized_dataset.set_format(torch, columns[input_ids, attention_mask]) print(分词后张量形状, tokenized_dataset[0][input_ids].shape) print(分词ID示例, tokenized_dataset[0][input_ids][:20])核心知识点input_ids文本转换后的数字编码是模型的直接输入attention_mask标识有效文本1与填充符0避免模型学习填充信息BPE 分词将单词拆分为子词如unhappiness→unhappiness兼顾词汇表大小与泛化能力。1.3 大模型数据加载器Dataloader构建数据预处理完成后需构建PyTorch DataLoader实现批量加载、随机打乱、多线程加速适配模型训练流程。代码如下import torch from torch.utils.data import DataLoader, TensorDataset # 1. 构建张量数据集 input_ids torch.stack([item[input_ids] for item in tokenized_dataset]) attention_mask torch.stack([item[attention_mask] for item in tokenized_dataset]) # GPT-2为自回归模型标签输入预测下一个token labels input_ids.clone() train_dataset TensorDataset(input_ids, attention_mask, labels) # 2. 构建DataLoader大模型训练核心参数 BATCH_SIZE 8 # 批量大小根据显存调整 NUM_WORKERS 4 # 多线程加载数据 train_dataloader DataLoader( train_dataset, batch_sizeBATCH_SIZE, shuffleTrue, # 随机打乱数据防止过拟合 num_workersNUM_WORKERS, pin_memoryTrue # 加速GPU数据加载 ) # 测试DataLoader batch next(iter(train_dataloader)) input_batch, mask_batch, label_batch batch print(f批量输入形状{input_batch.shape}) # [batch_size, seq_len] print(f批量掩码形状{mask_batch.shape}) print(f批量标签形状{label_batch.shape})工程化要点大模型训练中batch_size需根据显存动态调整如 A100 可设为 64/128pin_memoryTrue 多线程可大幅提升 CPU→GPU 数据传输速度shuffle 必须开启保证训练数据的随机性。第二部分 完整 GPT-2 大模型构建实战GPT-2 是基于Transformer 解码器的自回归语言模型核心结构词嵌入 位置编码 堆叠 Transformer 解码器层 线性输出层。本章节实现完整 GPT-2 模型包含参数量计算、显存分析完全对标工业级实现。2.1 GPT-2 核心架构解析GPT-2 无编码器仅使用解码器堆叠核心组件词嵌入层Token Embedding将 token ID 转换为高维向量位置编码Positional Encoding注入文本序列位置信息Transformer 无天然时序感知能力Transformer 解码器层包含掩码多头注意力Masked Multi-Head Attention、前馈网络、层归一化、残差连接输出层将解码器输出映射为词汇表概率分布。GPT-2 标准配置小模型层数n_layer12注意力头数n_head12隐藏层维度n_embd768序列长度seq_len512词汇表大小vocab_size502572.2 完整 GPT-2 模型代码实现基于 PyTorch 从零实现 GPT-2无第三方封装代码可直接用于训练 / 推理import torch import torch.nn as nn import torch.nn.functional as F import math # -------------------------- 1. 掩码多头注意力层 -------------------------- class CausalSelfAttention(nn.Module): GPT-2掩码多头注意力防止模型看到未来的token def __init__(self, config): super().__init__() self.n_embd config.n_embd self.n_head config.n_head self.head_dim self.n_embd // self.n_head assert self.head_dim * self.n_head self.n_embd, 隐藏层维度必须能被头数整除 # QKV投影层 输出投影层 self.c_attn nn.Linear(self.n_embd, 3 * self.n_embd) self.c_proj nn.Linear(self.n_embd, self.n_embd) # 因果掩码下三角矩阵屏蔽未来token self.register_buffer(bias, torch.tril(torch.ones(config.seq_len, config.seq_len)).view(1, 1, config.seq_len, config.seq_len)) def forward(self, x): B, T, C x.shape # B批量, T序列长度, C隐藏维度 # 拆分Q、K、V [B, T, 3*C] → 3个[B, T, C] q, k, v self.c_attn(x).split(self.n_embd, dim2) # 重塑为多头格式 [B, T, C] → [B, n_head, T, head_dim] q q.view(B, T, self.n_head, self.head_dim).transpose(1, 2) k k.view(B, T, self.n_head, self.head_dim).transpose(1, 2) v v.view(B, T, self.n_head, self.head_dim).transpose(1, 2) # 缩放点积注意力 attn (q k.transpose(-2, -1)) * (1.0 / math.sqrt(self.head_dim)) # 应用因果掩码未来位置置为-infsoftmax后为0 attn attn.masked_fill(self.bias[:, :, :T, :T] 0, float(-inf)) attn F.softmax(attn, dim-1) # 注意力输出拼接 y attn v y y.transpose(1, 2).contiguous().view(B, T, self.n_embd) y self.c_proj(y) return y # -------------------------- 2. 前馈网络层 -------------------------- class MLP(nn.Module): def __init__(self, config): super().__init__() self.c_fc nn.Linear(config.n_embd, 4 * config.n_embd) self.c_proj nn.Linear(4 * config.n_embd, config.n_embd) self.act nn.GELU() # GPT-2使用GELU激活函数 def forward(self, x): x self.c_fc(x) x self.act(x) x self.c_proj(x) return x # -------------------------- 3. Transformer解码器块 -------------------------- class Block(nn.Module): def __init__(self, config): super().__init__() self.ln_1 nn.LayerNorm(config.n_embd) self.attn CausalSelfAttention(config) self.ln_2 nn.LayerNorm(config.n_embd) self.mlp MLP(config) def forward(self, x): # 残差连接 层归一化GPT-2使用Pre-LN结构 x x self.attn(self.ln_1(x)) x x self.mlp(self.ln_2(x)) return x # -------------------------- 4. 完整GPT-2模型 -------------------------- class GPT2Config: GPT-2配置类可自由调整模型大小 def __init__( self, vocab_size50257, # 词汇表大小 seq_len512, # 最大序列长度 n_embd768, # 隐藏层维度 n_layer12, # 解码器层数 n_head12, # 注意力头数 ): self.vocab_size vocab_size self.seq_len seq_len self.n_embd n_embd self.n_layer n_layer self.n_head n_head class GPT2(nn.Module): def __init__(self, config): super().__init__() self.config config # 词嵌入 位置编码 self.wte nn.Embedding(config.vocab_size, config.n_embd) self.wpe nn.Embedding(config.seq_len, config.n_embd) # 堆叠Transformer解码器层 self.blocks nn.ModuleList([Block(config) for _ in range(config.n_layer)]) # 最终层归一化 输出层 self.ln_f nn.LayerNorm(config.n_embd) self.lm_head nn.Linear(config.n_embd, config.vocab_size, biasFalse) # 权重绑定词嵌入层与输出层共享权重减少参数量 self.wte.weight self.lm_head.weight # 初始化权重 self.apply(self._init_weights) def _init_weights(self, module): 权重初始化GPT-2官方初始化策略 if isinstance(module, (nn.Linear, nn.Embedding)): module.weight.data.normal_(mean0.0, std0.02) if isinstance(module, nn.Linear) and module.bias is not None: module.bias.data.zero_() elif isinstance(module, nn.LayerNorm): module.bias.data.zero_() module.weight.data.fill_(1.0) def forward(self, input_ids, attention_maskNone, labelsNone): B, T input_ids.shape assert T self.config.seq_len, 输入序列超过最大长度 # 1. 生成位置索引 position_ids torch.arange(0, T, dtypetorch.long, deviceinput_ids.device) position_ids position_ids.unsqueeze(0).expand(B, T) # 2. 词嵌入 位置编码 token_emb self.wte(input_ids) pos_emb self.wpe(position_ids) x token_emb pos_emb # 3. 堆叠解码器层前向传播 for block in self.blocks: x block(x) # 4. 最终归一化 输出logits x self.ln_f(x) logits self.lm_head(x) # 5. 计算损失自回归语言建模损失 loss None if labels is not None: # 移位预测输入token预测下一个token shift_logits logits[..., :-1, :].contiguous() shift_labels labels[..., 1:].contiguous() loss F.cross_entropy( shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1) ) return logits, loss # 初始化模型 config GPT2Config() model GPT2(config) print(GPT-2模型初始化完成)2.3 模型参数量计算大模型参数量直接决定模型能力与训练成本GPT-2 参数量可公式计算 代码验证2.3.1 手动计算公式GPT-2 核心参数量分为四部分词嵌入层vocab_size × n_embd 50257×768 ≈ 3859万位置编码层seq_len × n_embd 512×768 39.3万Transformer 层单块1注意力层4 × n_embd² 4 × n_embdQKV 投影 输出投影2MLP 层8 × n_embd² 4 × n_embd3层归一化2 × n_embd × 24单块总参数量12×n_embd² 12×n_embd最终层归一化2×n_embd总参数量嵌入层 层数 × 单块参数量代入 GPT-2 小模型参数总参数量 ≈1.24 亿124M与官方 GPT-2 Small 参数量完全一致。2.3.2 代码自动计算代码如下def calculate_model_params(model): 计算模型总参数量与可训练参数量 total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(f模型总参数量{total_params / 1e6:.2f} M百万) print(f可训练参数量{trainable_params / 1e6:.2f} M百万) return total_params, trainable_params total_params, trainable_params calculate_model_params(model)输出结果模型总参数量124.44 M百万可训练参数量124.44 M百万2.4 模型显存占用分析大模型训练中显存占用分为模型权重、激活值、优化器状态、梯度四部分是硬件选型的核心依据。2.4.1 显存占用核心公式模型权重显存参数量 × 字节数FP324 字节FP162 字节BF162 字节GPT-2 SmallFP32124M × 4 496MB梯度显存与权重相等FP32496MB优化器状态显存AdamW参数量 × 8字节存储动量 方差→ 992MB激活值显存与批量大小、序列长度正相关GPT-2 Smallbatch8≈ 500MB总显存FP32496496992500 ≈2.48GB混合精度FP16显存约为 FP32 的 50%≈1.2GB2.4.2 代码显存测试代码如下# 测试模型前向反向传播显存占用 device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) model.train() # 构造测试数据 test_input input_batch.to(device) test_mask mask_batch.to(device) test_label label_batch.to(device) # 清空显存缓存 torch.cuda.empty_cache() torch.cuda.reset_peak_memory_stats() # 前向反向传播 logits, loss model(test_input, test_mask, test_label) loss.backward() # 统计显存占用 print(f峰值显存占用{torch.cuda.max_memory_allocated(device) / 1024**3:.2f} GB)实战结论GPT-2 Small124M单卡训练最低 2GB 显存即可运行大模型如 7BFP16 训练需至少 13GB 显存AdamW 优化器需 26GB 显存工业界常用混合精度训练、梯度累积、模型并行降低显存占用。2.5 模型训练与推理测试完成模型构建后可快速测试训练与推理流程# 优化器 optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay0.01) # 单步训练测试 model.train() for batch in train_dataloader: input_ids, mask, labels [b.to(device) for b in batch] optimizer.zero_grad() logits, loss model(input_ids, mask, labels) loss.backward() optimizer.step() print(f训练损失{loss.item():.4f}) break # 推理测试文本生成 model.eval() prompt artificial intelligence is input_ids tokenizer.encode(prompt, return_tensorspt).to(device) with torch.no_grad(): logits, _ model(input_ids) # 取最后一个token的预测结果 next_token_logits logits[:, -1, :] next_token_id torch.argmax(next_token_logits, dim-1).item() generated_text tokenizer.decode(input_ids[0].tolist() [next_token_id]) print(生成文本, generated_text)第三部分 实战总结与工程化扩展3.1 数据处理核心总结开源数据集选择Wikipedia知识BookCorpus长文本CommonCrawl多样性是最优组合预处理 pipeline清洗→过滤→去重→分词四步缺一不可直接决定模型质量分词技术BPE 是 GPT 类模型标配解决未登录词问题DataLoader批量加载 随机打乱 多线程是大模型训练的基础要求。3.2 模型构建核心总结GPT-2 核心纯 Transformer 解码器 掩码注意力 自回归预测参数量GPT-2 Small 为 124M参数量与模型能力正相关显存优化混合精度、梯度累积可大幅降低显存占用权重共享词嵌入层与输出层共享权重减少参数量提升训练稳定性。3.3 工程化扩展方向数据层面全量数据集训练、数据去重优化SimHash、领域数据微调金融 / 医疗模型层面GPT-3/LLaMA 架构扩展、FlashAttention 加速、LoRA 微调训练层面分布式训练DDP、混合精度训练、学习率调度部署层面模型量化、ONNX 导出、TensorRT 加速。全文总结本文完整实现了从零构建大模型数据收集预处理 GPT-2 模型构建全流程实战数据端接入三大开源数据集完成清洗、去重、过滤、BPE 分词、DataLoader 构建模型端从零实现 GPT-2 完整架构包含词嵌入、位置编码、Transformer 解码器、损失计算分析端完成模型参数量精准计算与显存占用分析代码端全流程可运行适配单机环境可直接扩展为工业级大模型训练框架。