深度学习中的掩码介绍

在深度学习中，**掩码（Mask）**通常用于屏蔽掉某些特定部分的数据，以确保模型在训练或推理时不处理无效或无关的输入。掩码的使用场景主要包括处理变长序列、生成模型中的自回归任务、处理填充数据等。掩码可以是二值矩阵（1 表示有效数据，0 表示屏蔽数据），在注意力机制中经常使用。

1. 掩码的值与意义

掩码矩阵通常由 0 和 1 构成，含义如下：

• 1：该位置为有效数据，模型应当关注。
• 0：该位置为无效数据，模型应忽略，或计算结果应屏蔽掉。

掩码在深度学习中的典型应用场景：

1. 序列填充掩码（Padding Mask）：屏蔽序列中的填充值，使得模型不会在这些填充位置上产生无效计算。
2. 前向/反向掩码（Causal Mask）：用于防止模型在自回归任务中“看到”未来的时间步，确保生成过程是从过去到未来的顺序。
3. 损失掩码：用于计算损失函数时，只对有效的部分计算损失，而忽略无效的部分。

2. 序列填充掩码（Padding Mask）

在自然语言处理中，输入的序列长度往往不一致，短的序列通常用填充值（如 0）来对齐，这时需要使用填充掩码屏蔽掉填充值，使得模型在处理这些填充值时不会干扰注意力机制或损失函数的计算。

示例代码