【人脸识别】FROM：提升遮挡状态下的人脸识别效果

论文题目：《End2End Occluded Face Recognition by Masking Corrupted Features》
论文地址：https://arxiv.org/pdf/2108.09468v3.pdf
代码地址：https://github.com/haibo-qiu/from

1.前言

       人脸识别技术已经取得了显著的进展，主要归功于以下三个因素:

• loss functions: Center loss、CosFace、ArcFace etc. （损失函数）
• carefully designed convolutional neural network architectures (CNNs): ResNet etc.（网络设计）
• large-scale training datasets: LFW、WebFace etc.（数据集）

       人脸识别技术在真实场景中面临的主要挑战：

• extreme illumination （极端的光线）
• rare head pose （罕见的头部姿态）
• lowresolutions, and occlusions （低分辨率以及遮挡）

       目前为了缓解因遮挡造成的效果下降主要采用两种方式：Recovering and Removing。

• Recovering means recovering the occluded facial parts first, and then performing recognition on the recovered face images.
  （恢复是指先恢复被遮挡的面部部位，然后对恢复后的人脸图像进行识别）
• Removing represents first removing the features that are corrupted by occlusions, and then utilizing the remaining clean
  features for recognition.（删除表示首先删除被遮挡损坏的特征，然后利用剩余的干净特征进行识别）

       图1：上半部分可视化了面部图像上的九种不同遮挡。 下半部分展示了基线和我们的方法之间的准确性比较。 请注意，右边的图例表示不同遮挡的遮挡程度（例如，（4）-0.12 表示遮挡嘴巴的面积占人脸图像总面积的 12%）。从上图可以大致看出：1）面部遮挡明显影响到了模型效果；2）不同的遮挡区域和遮挡面积造成模型效果下降的程度不一样（例如眼睛被遮挡会显著降低准确率）；3）本文提出的算法不仅可以在遮挡状态下明显超过baseline的效果，而且在未遮挡状态下也能保持相当的效果。

2.FROM

2.1.整体架构

       FROM的整体结构如图 2 所示，FROM是一种新颖的单网络端到端方法。 它以一小批随机遮挡和无遮挡（未配对）的面部图像作为输入，并生成金字塔特征，然后将其用于解码特征掩码。 然后，获得的掩码通过乘法mask损坏的元素来清理深层特征，以进行最终识别。

FROM 的核心思想是学习准确的特征掩码以有效地清除损坏的特征。

2.2.Mask Decoder

       FROM 的原理是学习一个 Mask Decoder 来生成特征掩码，用于精确去除由遮挡引起的损坏特征。 如图 2 所示，它将特征金字塔提取器获得的 conv 特征图 X3 中的遮挡信息解码为特征掩码 M。 期望通过逐元素乘积来屏蔽 X1 的损坏特征元素，以生成清洁的特征 X’1 以供后续识别。 如图 3a 所示，Mask Decoder 被实现为一个简单的“Conv-PReLU-BN-Conv-Sigmoid”结构，其中“Sigmoid”函数用于将输出特征掩码约束到 (0, 1)。 请注意，两个“Conv”层的步幅都设置为 2，以缩小 4 倍分辨率以与 X1 的大小完全匹配。

简而言之，Mask Decoder结构就类似于一个注意力机制模块，让网络去学习出一个合适的权重矩阵来mask掉原特征图中损坏的特征。（只是注意力机制是让网络自适应的去学习，而Mask Decoder后续还有一个Occlusion Pattern Predictor来监督它的学习）在得到权重矩阵M之后，与原特征图进行一个乘积的操作，来mask掉损坏特征以更好的进行后续的识别。

2.3.Occlusion Pattern Predictor

       为了鼓励 Mask Decoder 生成与输入人脸图像的遮挡模式相关的掩码，我们将模块 Occlusion Pattern Predictor 引入我们的网络以监督特征掩码学习。 如图 2 所示，它将学习到的特征掩码作为输入并预测遮挡模式向量，然后使用 softmax 损失对其进行分类。 它有一个简单的“BNDropout-FC-BN”结构，其输出通道等于图 3b 中遮挡模式的数量（比如你只想预测口罩遮挡这一个类型，最后的FC层节点个数就设置为2，即二分类是否戴口罩）。 因此，Mask Decoder 被训练生成掩码：1）与输入图像的遮挡相关； 2) 正确屏蔽掉对人脸识别有害的损坏特征。 虽然第一点是通过引入遮挡模式预测器实现的，但第二点是通过应用于掩蔽特征的人脸识别损失（本文中的 CosFace 损失 [4]）来监督的。

2.3.1.Proximate Occlusion Patterns

       为了探究遮挡模式，提出邻近性。相邻块在实际应用中通常具有相似的遮挡状态（例如，如果嘴巴被遮挡，那么鼻子也很有可能被遮挡）。具体操作如下图所示：

       当人脸图像被分成 4 × 4 块时，邻近遮挡模式的示例（左）和每个遮挡大小的模式数量（右）。 数值矩阵中 (i, j) 位置的值表示大小为 i × j 的遮挡模式的数量。通过总结矩阵的所有值，我们有 101 种遮挡模式（100 种被遮挡和另外 1 种未被遮挡）。

举例说明：当图像被分成4 x 4时。以左上角为坐标原点，比如左上角的16，意思就是（1x1）大小的块遮挡模式有16种，同理，右下角的1，意思就是（4x4）大小的块遮挡模式只有1种。

2.3.2.Pattern Prediction

       生成的特征掩码应该用于正确预测相应的参考模式。 特别是，在训练阶段，我们有每个图像的遮挡位置。 对于每个图像 Xi，我们通过将其遮挡位置与 226（当 K = 5）遮挡模式匹配来获得其遮挡模式 Yi。 我们的匹配策略是计算遮挡和 226 个参考模式之间的 IoU 分数，然后选择具有最大 IoU 分数的模式作为相应的标签。 从遮挡模式预测器获得遮挡特征向量后，我们采用传统的 softmax 损失及其遮挡模式 Yi，公式如下：

简而言之，就是对于训练数据要确定好遮挡模式，才能进行后续的分类计算。首先，按照预先设定好的K值（也就是图像怎么切，有多少种遮挡模式），将训练数据的真实遮挡情况与设定好的遮挡模式计算iou，这一步是确定图片属于那种类型的遮挡，以便确定好分类标签。然后就是计算分类损失就好了。注意：遮挡模式预测器最终FC层的维度一定要与你设定好的遮挡模式的个数一致。

2.4.总损失

3. 实验

3.1. 遮挡数据集构建

       AR 人脸数据集示例和我们合成遮挡的人脸图像。 第一行图​​像在 WebFace 上以 1 : 0.5 : 5 的随机比例被遮挡。 第二行和第三行图像在 LFW 和 Facescrub 上分别被 1.0、1.5、2.0 遮挡。 最后一行图像来自 AR Face 数据集。

3.2.训练细节

       训练阶段可以分为两个步骤。 首先，我们使用具有较大margin的cosine loss在 WebFace 数据集上学习主干网络（即图 2 中的上部分支）。 主干网络训练了 40 个 epoch，初始学习率为 0.1，batch size 为 512。使用权重衰减为 0.0005 和动量为 0.9 的 SGD，在第 15 和 30 个 epoch 将学习率降低 10 倍。然后我们将训练好的来自步骤 1 的模型作为我们的预训练模型，并在 OccWebFace 数据集上微调整个网络，包括特征金字塔提取器、掩码解码器和遮挡模式预测器，该数据集是通过从 1.0 : 0.5 : 5.0 中随机选择作为 Alg1 中的 Scale s 和来自原始 WebFace 数据集的每个图像的遮挡器构建的。

3.3.部分实验结果

3.3.1.Ablation Study

       对比权重向量M矩阵的值是使用sigmoid，还是大于某个值直接置为1，反之置为0，意思也就是抑制还是删除（损坏特征）。实验证明抑制好于删除。

       K4, K5, K6的表现基本相同，K3略落后。考虑到速度和精度的权衡，我们采用K = 5(即将人脸图像划分为5 × 5网格)进行其余实验。

λ=0.5， λ=1具有较好的精度

3.3.2.Comparision to Baselines

1)带Mask Decoder的Baseline_x0002_MD的性能比Baseline-Aug好，这可能是由额外的网络参数带来的。
2)我们首先发现Baseline- aug的性能略差于Baseline，这可能是由于其遮挡数据微调过程中存在过拟合问题。

3.3.3.Effects of Different Occluded Areas

另一个观察结果是，模型在左脸和右脸上的表现非常相似，这可能有助于训练人脸图像的翻转增强。

3.3.4.Benchmark on RMF2, LFW-SM and O_LFW

occluded faces (N-O) and occluded face pairs (O-O)

3.3.5.Benchmark on Megaface Challenge 1

       同样值得注意的是，PDSN的56.34%的精度是50个遮挡区域的平均精度，然而，在他们的论文中没有详细说明。因此，在相同的配置下，我们无法得到公平比较的结果。但是，我们在随机位置遮挡上上获得了60.84%的准确率，这比50个区域更不受约束，也更困难，使我们的结果更有说服力。

3.3.6.Benchmark on AR Face Dataset

1)对于SphereFace，我们使用public code及其预训练的模型 。
2)对于CosFace和ArcFace，我们自己用相应的损失训练模型，并得到实验结果。