BERT预训练的MLM和NSP任务的损失函数都是什么？

引言

       BERT预训练过程中包括两个主要任务：Masked Language Modeling(MLM) 和 Next Sentence Prediction(NSP)。

MLM损失函数：

       在MLM任务中，模型需要根据上下文预测被MASK掉的词语。具体来说，输入序列中的一部分词语被随机MASK，模型需要依据未被MASK的词语来预测这些被MASK的词语。

损失函数：

       MLM任务通常使用多类别交叉熵损失函数（Cross-Entropy Loss）。对于每一个被MASK的位置，计算模型预测的词与真实词之间的交叉熵损失。数学表达式为：

$$L_{\text{MLM}}=-\sum _{i\in \mathcal{M}}\log P(w_i|C_i)$$

其中：

$\mathcal{M}$：被MASK的词语在序列中的位置集合。
w i