再读bert（Bidirectional Encoder Representations from Transformers）

再读 BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以 Transformer 架构为罗盘，在预训练与微调的星河中精准导航，打破 NLP 领域长久以来的迷雾。而如今，书页间跃动的不再仅是 Attention 机制精妙的数学公式，更是一场关于语言本质的哲学思辨 —— 它让我看见，那些被编码的词向量，恰似人类思维的碎片，在双向语境的熔炉中不断重组、淬炼，将离散的文字升华为可被计算的意义。BERT 教会我们，语言从来不是孤立的字符堆砌，而是承载着文化、逻辑与情感的多维载体，每一次模型的迭代与优化，都是人类向理解语言本质更深处的一次虔诚叩问，在这过程中，我们既是技术的创造者，也是语言奥秘的永恒探索者。

论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Github：https://github.com/google-research/bert?tab=readme-ov-file

1.引言与核心创新

• 背景：

现有预训练模型（如 ELMo、GPT）多基于单向语言模型，限制深层双向表征能力。

• 创新点：

（1）提出BERT，通过MLM和NSP预训练任务，实现真正的深层双向 Transformer 表征。

（2）证明预训练模型可通过简单微调（仅添加输出层）适配多任务，无需复杂架构设计。

2.模型架构与输入表征

• 模型结构：

BERT（Bidirectional Encoder Representations from Transformers）由Google 提出并基于 Transformer 架构进行开发的预训练语言模型。如图所示， BERT 模型是由多个 Transformer 的编码器逐层叠加而成。 BERT 模型包括两种标准配置，其中 Base 版本包含 12 层 Transformer 编码器，而 Large版本包含 24 层 Transformer 编码器，其参数总数分别为 110M 和 340M。

BERT 模型的关键特点是能够全方位地捕捉上下文信息。与传统的单向模型（GPT-1 等自回归模型）相比， BERT 能够从两个方向考虑上下文，涵盖了某个词元之前和之后的信息。传统的模型往往只从一个固定的方向考虑上下文，这在处理复杂的语义关系和多变的句子结构时可能会遇到困难。例如，在问答系统中，单一方向可能导致模型不能完全理解问题的上下文，从而影响其回答的准确性。此外，在情感分析、关系抽取、语义角色标注、文本蕴涵和共指解析等任务中，单向方法可能无法充分捕获复杂的语义关系和上下文依赖，限制了其性能。为了应对这些挑战， BERT 通过预测遮蔽的词元来全面理解句子中的上下文，从而在许多 NLP 任务中实现了显著的性能增强。

• Transformer 配置：

模型	层数 (L)	隐层大小 (H)	注意力头 (A)	参数总量
BERT BASE	12	768	12	110M
BERT LARGE	24	1024	16	340M

• 输入表征：

采用WordPiece 分词（30k 词汇表），添加特殊 token：

[CLS]：序列分类标识，对应隐层用于分类任务。

[SEP]：句子对分隔符，段嵌入（Sentence A/B）区分句子归属。

输入嵌入 = 词嵌入 + 段嵌入 + 位置嵌入。

3.训练任务设计

BERT 模型的训练过程通常分为预训练（Pre-training）与微调训练（Finetuning）等两部分。

3.1 预训练

在预训练阶段， BERT 模型在大量未标注的文本数据上进行训练，目标是学习文本之间的深层次关系和模式。具体来说，它使用了两种训练策略：

i）掩码语言模型 (Masked Language Model)；

ii）预测下一句（Next Sentence Prediction）。

任务 1：掩码语言模型（MLM）

掩码策略：随机选择 15% tokens，其中：

80% 替换为[MASK]（如my dog is [MASK]），

10% 替换为随机词（如my dog is apple），

10% 保留原词（如my dog is hairy）。

目标：通过双向注意力预测原词，缓解预训练与微调时[MASK]未出现的不匹配问题。

任务 2：下一句预测（NSP）

数据生成：50% 真实连续句对（标签 IsNext），50% 随机句对（标签 NotNext）。

目标：通过[CLS]隐层预测句对关系，提升句子级语义理解（如 QA、NLI 任务）。

3.2 微调

微调训练阶段是在预训练的 BERT 模型基础上，针对特定任务进行的训练。这一阶段使用具有标签的数据，如情感分析或命名实体识别数据。通过在预训练模型上加载特定任务的数据进行微调， BERT 能够在各种下游任务中达到令人满意的效果。

BERT 模型微调训练的目的是使其具备处理各种下游任务的能力，微调的任务包括：句子对分类任务、单句分类任务、问答任务和命名实体识别等。

微调训练中为了使 BERT 适应各种 NLP 任务，模型首先调整其输入和输出。例如，在基于句子对的分类任务中，假设要判断句子 A“这家餐厅的食物很美味。”和句子 B“菜品口味很棒，值得推荐。”之间的关系，模型的输入是这两个句子的组合，而输出可能是它们的关系分类，例如“相关”或“不相关”。而在命名实体识别任务中，如果输入句子为“任正非是华为的创始人”，输出则是每个词的实体类别，如“任正非”被标记为“PERSON”，“华为”被标记为“ORGANIZATION”。在针对不同的任务，如文本分类、实体识别或问答等，进行微调训练时，会在 BERT 模型上增添一个特定的输出层。这个输出层是根据特定任务的需求设计的。例如，如果是文本分类任务，输出层可能包含少量神经元，每个神经元对应一个类别。同时，通过反向传播对模型参数进行调整。微调的过程就像是对模型进行 “二次训练”。

4.实验结果与 SOTA 突破

• GLUE 基准（11 任务）

任务	BERT LARGE 得分	前 SOTA	提升幅度
MNLI（自然语言推理）	86.7%	82.1%（GPT）	+4.6%
QNLI（问答推理）	92.7%	87.4%（GPT）	+5.3%
SST-2（情感分析）	94.9%	91.3%（GPT）	+3.6%
平均得分	82.1%	75.1%（GPT）	+7.0%

• SQuAD 问答任务

v1.1（有答案）：单模型 F1 值 93.2，ensemble 达 93.9，超过人类表现（91.2%）。

v2.0（无答案）：F1 值 83.1，较前 SOTA 提升 5.1%，首次接近人类表现（89.5%）。

• SWAG 常识推理：BERT LARGE 准确率 86.3%，远超 GPT（78.0%）和人类专家（85.0%）。

5.消融研究与关键发现

• NSP 任务的重要性

移除 NSP 后，MNLI 准确率从 84.4% 降至 83.9%，QNLI 从 88.4% 降至 84.9%，证明句子级关系建模对 QA 和 NLI 至关重要。

• 双向性 vs 单向性

单向模型（LTR，类似 GPT）在 SQuAD F1 值仅 77.8%，远低于 BERT BASE 的 88.5%；添加 BiLSTM 后提升至 84.9%，仍显著落后。

• 模型规模的影响

增大参数（如从 110M 到 340M）持续提升性能，即使在小数据集任务（如 MRPC，3.5k 训练例）中，BERT LARGE 准确率 70.1%，较 BASE 的 66.4% 提升 3.7%。

6.对比现有方法

• 与 GPT 对比：

  • GPT 为单向 Transformer（仅左到右），BERT 通过 MLM 实现双向，且预训练数据多 3 倍（33 亿词 vs GPT 的 8 亿词）。
  • BERT 在 GLUE 平均得分比 GPT 高 7.0%，证明双向性和 NSP 的关键作用。

• 与 ELMo 对比：

  • ELMo 通过拼接单向 LSTM 输出实现双向，为特征基方法；BERT 为微调基，参数效率更高，且深层双向表征更优。

---

7.关键问题

问题 1：BERT 如何实现深层双向语义表征？

答案：BERT 通过 ** 掩码语言模型（MLM）和下一句预测（NSP）** 任务实现双向表征。MLM 随机掩码 15% 的输入 tokens（80% 替换为 [MASK]、10% 随机词、10% 保留原词），迫使模型利用左右语境预测原词，避免单向模型的局限性；NSP 任务通过判断句对是否连续，学习句子级语义关系，增强模型对上下文依赖的建模能力。

问题 2：BERT 在预训练中如何处理 “掩码 token 未在微调时出现” 的不匹配问题？

答案：BERT 采用混合掩码策略：在 15% 被选中的 tokens 中，仅 80% 替换为 [MASK]，10% 随机替换为其他词，10% 保留原词。这种策略减少了预训练与微调时的分布差异，使模型在微调时更适应未出现 [MASK] 的真实场景，同时通过随机替换和保留原词，增强模型对输入噪声的鲁棒性。

问题 3：模型规模对 BERT 性能有何影响？

答案：增大模型规模（如从 BERT BASE 的 110M 参数到 LARGE 的 340M 参数）显著提升性能，尤其在小数据集任务中优势明显。实验显示，更大的模型在 GLUE 基准的所有任务中均表现更优，MNLI 准确率从 84.6% 提升至 86.7%，MRPC（3.5k 训练例）准确率从 66.4% 提升至 70.1%。这表明，足够的预训练后，更大的模型能学习更丰富的语义表征，即使下游任务数据有限，也能通过微调有效迁移知识。