人脸识别——探索戴口罩对人脸识别算法的影响

1. 概述

人脸识别是一种机器学习技术，广泛应用于各种领域，包括出入境管制、电子设备安全登录、社区监控、学校考勤管理、工作场所考勤管理和刑事调查。然而，当 COVID-19 引发全球大流行时，戴口罩就成了日常生活中的必需品。广泛使用的人脸识别技术受到严重影响，传统人脸识别技术的性能显著下降。虽然在过去几年中已有报道称支持口罩的人脸识别模型达到了一定的准确度，但佩戴口罩对人脸识别的影响尚未得到充分研究。
因此，本文比较并评估了多种人脸识别模型在辨别 "蒙蔽 "和 "未蒙蔽 "人脸图像时的性能。本文使用了六种传统的机器学习算法：支持向量机（SVC）、K 近邻（KNN）、线性判别分析（LDA）、决策树（DT）、逻辑回归（LR）和天真贝叶斯（NB）。(深度学习模型尚未经过验证）。
它研究了蒙面人脸图像的最佳和最差性能模型。论文还根据一个蒙面和未蒙面人脸图像数据集以及一个半蒙面人脸图像数据集对性能进行了评估。与以往的研究相比，本文的独特之处在于研究了广泛的面具佩戴数据和机器学习模型。
论文地址：https://arxiv.org/pdf/2306.08549.pdf

2. 机器学习模型和数据集

本文评估了六种模型：支持向量机（SVC/Support Vector Classifier）、线性判别分析（LDA/Linear Discriminant Analysis）、K-近邻（KNN/K-Nearest Neighbours）、决策树（DT/Decision Trees）、逻辑回归（LR/Logistic Regression）和奈夫贝叶斯（NB/Naïve Bayes）。(DT/决策树）、逻辑回归（LR/逻辑回归）和奈夫贝叶斯（NB/奈夫贝叶斯）。

该数据集还使用了 （ORL），其中包含 41 个受试者和每个受试者 10 张图像，共计 410 张未掩盖的人脸图像。下图显示了 ORL 的样本数据。

本文使用开源软件 MaskTheFace 为 ORL 人脸图像添加面具，并制作出佩戴面具的人脸图像。佩戴的面具是从六个面具模板中随机选择并添加的。下图显示了添加面具后的样本数据。

2. 实验细节

本文使用上述机器学习模型和数据集进行了六项实验。请注意，在所有实验中，特征提取都使用了局部二进制模式（LBP）算法。

**(实验 1）**在为 41 名受试者每人准备的 10 幅图像中，有 9 幅被用作未戴面罩的人脸图像，并对 6 个机器学习模型进行训练。在为 41 名受试者每人准备的 10 张图像中，剩下的一张也用作无遮罩的人脸图像，并对每个机器学习模型进行测试。

(实验 2）在为 41 名受试者每人准备的 10 张图像中，9 张作为未戴面罩的人脸图像用于训练 6 个机器学习模型。在为 41 名受试者每人准备的 10 张图像中，剩下的一张图像将与 MaskTheFace 一起使用，作为戴面具的人脸图像对每个模型进行测试。图 3

(实验 3）在为 41 名受试者每人准备的 10 幅图像中，有 9 幅被用作戴了面具的人脸图像，并训练了 6 个机器学习模型。在为 41 名受试者每人准备的 10 张图像中，剩下的一张也被用作无面具人脸图像，用于测试每个机器学习模型。

(实验 4）在为 41 名受试者每人准备的 10 幅图像中，有 9 幅被用作戴上面具后的人脸图像，并训练了 6 个机器学习模型。然后，使用 MaskTheFace 将为 41 名受试者分别准备的 10 幅图像中的其余一幅图像作为戴上面具的人脸图像，对每个模型进行测试。图 4

(实验 5）在为 41 名受试者每人准备的 10 幅图像中，保留一幅图像用于测试，其余 9 幅图像中的 4 幅在 MaskTheFace 软件中组合为戴面具的人脸图像，4 幅为未戴面具的人脸图像，总共 8 幅人脸图像。这样就形成了一个半数人脸图像戴有面具的数据集。利用这个数据集，可以训练出六个机器学习模型，每个模型都要在一张未戴面具的人脸图像上进行测试。

**(实验 6）**使用实验 5 中创建的数据集训练了六个机器学习模型，该数据集由半张被遮挡的人脸图像组成，每个模型都在单张被遮挡的人脸图像上进行了测试。图 5

3. 实验结果

下表显示了六个机器学习模型在所有六个实验中的准确率。对于在未屏蔽人脸图像（UM）上训练并在屏蔽人脸图像（M）上测试的机器学习模型（UM/M），LDA 的准确率下降幅度最小，为 61%，而 KNN 的准确率下降幅度最大，为 24%。还可以看出，对于在蒙版人脸图像（M）上训练并在蒙版图像（M）上测试的机器学习模型，LR 的准确率最高，为 80%，而 KNN 的准确率最低，为 37%。

下表显示了六种机器学习模型在所有六次实验中的 F1 分数。对于在未遮挡人脸图像（UM）上训练并在遮挡人脸图像（M）上测试的机器学习模型，LDA 的 F1 分数最高，为 76%，KNN 的分数最低，为 39%。而对于一半在蒙蔽人脸图像（HM）上训练，一半在蒙蔽图像（M）上测试的模型，LR 的 F1 得分最高，为 89%，KNN 的得分最低，为 54%。在蒙蔽图像（M）上训练并在蒙蔽图像（M）上测试的模型中，LR 的 F1 得分最高，为 89%，DT 的得分最低，为 54%。

回顾下表（再次），我们可以看到，在未蒙面的人脸图像（UM）上训练和在未蒙面的人脸图像（UM）上测试时，最佳平均性能为 81%。这是很自然的结果，因为机器学习模型是基于人脸图像没有戴面具这一假设建立的。另一方面，当模型在未戴面具的人脸图像上训练并在戴面具的人脸图像上测试时，平均性能最低，仅为 45%。这表明，正如 Corona 灾难所报告的那样，在未戴面具的人脸图像上训练的模型并不适合识别戴面具的人脸图像。这与已报告的结果具有可重复性。

我们还发现，如果在一个由不戴面具的人脸图像或一半戴面具的人脸图像组成的数据集上进行训练，机器学习模型在蒙面人脸图像测试中的平均准确率会下降。如果机器学习模型在戴了面具的人脸图像上进行训练，则测试戴了面具的人脸图像的准确率会提高。

上表还显示，在所有三种类型的训练数据上，LR 在识别未蒙蔽人脸图像方面都优于其他模型。当在带有遮挡或半遮挡图像的数据集上进行训练时，LR 在识别遮挡图像方面优于其他模型。

对于需要识别遮挡和未遮挡面部图像的系统来说，最好在由半遮挡面部图像组成的数据集上进行训练，并使用 LR，如上表所示。

4. 总结

本文为了研究戴面具对机器学习模型的影响，使用支持向量机（SVC/Support Vector Classifier）、线性判别分析（LDA/Linear Discriminant Analysis）、K-近邻（KNN/K-Nearest NeighboursSVC/Support Vector Classifier）、线性判别分析（LDA/Linear Discriminant Analysis）、K-Nearest Neighbours（KNN/K-Nearest Neighbours）、决策树（DT/Decision Trees）、逻辑回归（Logistic Regression (LR/Logistic Regression）和奈夫贝叶斯（NB/Naïve Bayes），并使用六种机器学习模型进行了详尽的实验。

实验结果表明，在 "半遮挡和半未遮挡面部图像数据集 "上进行训练时，LR 作为同时识别遮挡和未遮挡面部图像的系统表现最佳。

在识别被遮挡的人脸图像时，在更多被遮挡的人脸图像上训练的模型的准确率呈上升趋势，但与此同时，在识别未被遮挡的图像时，准确率呈下降趋势。