04 统计语言模型（n元语言模型）

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 链接：https://github.com/nickchen121/Pre-training-language-model

配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html

预训练

预先训练

我们有两个相似的任务 A 和 B，任务 A 已经完成了得到了一个模型 A

任务 B（数据量小）

用到了一个特性：CNN 浅层参数通用

任务 B 就可以使用模型 A 的浅层参数，后面的参数通过任务 B 训练–》1. 冻结（浅层参数不变）2. 微调（变）

任务 B（大数据）可以训练出模型 B（我还可以使用模型 A 的浅层参数，节省训练时间，节省成本）