从零构建属于自己的GPT系列1：预处理模块(逐行代码解读)、文本tokenizer化

1 训练数据

在本任务的训练数据中，我选择了金庸的15本小说，全部都是txt文件

数据打开后的样子

数据预处理需要做的事情就是使用huggingface的transformers包的tokenizer模块，将文本转化为token

最后生成的文件就是train_novel.pkl文件，就不用在训练的时候读txt文件了

数据预处理：preprocess.py

2 设置参数

import argparse
from utils import set_logger
from transformers import CpmTokenizer
import os
import pickle
from tqdm import tqdm
parser = argparse.ArgumentParser()
parser.add_argument('--vocab_file', default='vocab/chinese_vocab.model', type=str, required=False,help='词表路径')
parser.add_argument('--log_path', default='log/preprocess.log', type=str, required=False, help='日志存放位置')
parser.add_argument('--data_path', default='data/novel', type=str, required=False, help='数据集存放位置')
parser.add_argument('--save_path', default='data/train.pkl', type=str, required=False,help='对训练数据集进行tokenize之后的数据存放位置')
parser.add_argument('--win_size', default=200, type=int, required=False,help='滑动窗口的大小，相当于每条数据的最大长度')
parser.add_argument('--step', default=200, type=int, required=False, help='滑动窗口的滑动步幅')
args = parser.parse_args()

1. 参数包
2. 本项目utils.py中初始化参数函数
3. chinese pre-trained model Tokenizer包
4. 系统包
5. pickle包，用于将 python 对象序列化（serialization）为字节流，或者将字节流反序列化为 Python 对象
6. 进度条包
7. 创建一个用于解析命令行参数的 ArgumentParser 对象
8. 处理中文文本的变成token的预训练模型的模型文件存放位置
9. 运行日志文件存放位置
10. 数据集存放位置
11. 对训练数据集进行tokenize之后的数据存放位置
12. 滑动窗口的大小，相当于每条数据的最大长度
13. 滑动窗口的滑动步幅

3 初始化日志对象

logger = set_logger(args.log_path)
def set_logger(log_path):logger = logging.getLogger(__name__)logger.setLevel(logging.INFO)formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')file_handler = logging.FileHandler(filename=log_path)file_handler.setFormatter(formatter)file_handler.setLevel(logging.INFO)logger.addHandler(file_handler)console = logging.StreamHandler()console.setLevel(logging.DEBUG)console.setFormatter(formatter)logger.addHandler(console)return logger

1. 选择日志路径，调用日志函数
2. 创建 logger 对象
3. 设置日志级别为’logging.INFO’
4. 创建格式化器 formatter
5. 创建文件处理器file_handler并指定了日志文件的路径为log_path
6. 设置处理器的日志级别为 logging.INFO
7. 添加文件处理器 file_handler 到创建的 logger 对象中
8. 创建控制台处理器 console，用 logging.StreamHandler() 创建一个将日志输出到控制台的处理器
9. 设置其日志级别为 logging.DEBUG
10. 将格式化器 formatter 应用到这个控制台处理器上
11. 控制台处理器 console 添加到 logger 对象中
12. 返回了这个配置好的 logger 对象