CVPR2023新作：3D感知的AI换脸算法

1. Title: 3D-Aware Face Swapping (3D感知的人脸交换)

2. Affiliation: 上海交通大学人工智能研究所

3. Authors: Yixuan Li, Chao Ma, Yichao Yan, Wenhan Zhu, Xiaokang Yang

4. Keywords: Face swapping, 3D human faces, Generative Adversarial Network, geometry

5. Summary:

• (1): 该论文研究内容为人脸交换，是计算机视觉领域的一个重要研究课题，具有广泛的娱乐和隐私保护应用。

• (2): 既往方法直接学习交换2D面部图像，对人脸的几何信息不予以考虑。当源人脸图像和目标人脸图像之间存在大的姿态差异时，就会出现不良的伪影。该论文提出的3D感知的人脸交换方法，利用3D人脸的强几何和纹理先验，将2D人脸投影到3D生成模型的潜在空间中。通过在潜在空间中解耦身份和属性特征，成功地实现了3D感知的人脸交换，具有较好的鲁棒性，同时可以转移细粒度的面部细节。

• (3): 该论文所提出的方法采用了生成对抗网络（GAN）的思想，将2D人脸先转化为3D模型的潜在空间表示，再在潜在空间上进行交换，最终转换回2D图像。该方法不仅保留了2D和3D人脸的信息，使其具有多视角一致性，并且能够实现面部细节的转移。

• (4): 该论文所提出的3D感知的人脸交换方法在视觉质量、身份相似性、多视角一致性等方面取得了优越的表现。在权威的FaceForensics++数据集上的评测中，该方法相比现有最好的2D方法提高了3.13%的身份相似度，维持了相似的质量，并且生成图像的间距离相对于真实3D人脸的平均间距离降低了56%以上。因此，该方法的表现支持了其目标。

6. Methods:

• (1): 该论文所提出的3D感知的人脸交换方法，首先采用3DMM（3D Morphable Model）建模对单张人脸图像进行重建，得到其三维属性，并利用渲染方程生成其对应的二维图像。

• (2): 在此基础上，通过CGAN（Conditional Generative Adversarial Network）网络对单张人脸图像进行编码，获取其在潜在空间中的表达，同时训练一个分类器来识别人物身份。在测试阶段，输入两张不同的2D人脸图像和一个目标身份的类别标签，将两张输入图像通过CGAN网络编码得到的潜在向量加权平均，得到一个中间的潜在向量。同时在潜在向量中随机样本并将其添加到中间潜在向量，以增加面部的多样性。最终，将得到的潜在向量传递给解码器，生成与目标身份相似的2D人脸图像。

• (3): 该方法所产生的2D人脸图像在视觉上具有更好的质量和更好的多视角一致性。同时，与现有的2D方法相比，该方法可以实现更好的身份相似性，同时还能够保留面部细节。该方法的表现经过在FaceForensics++数据集上的评测，得到了良好的验证，支持其有效性。

7. Conclusion:

• (1): 本研究的意义在于提出了一种3D感知的人脸交换方法，将2D人脸图像投影到3D生成模型的潜在空间中，实现了更好的多视角一致性和面部细节的转移。同时，该方法可以克服传统方法中2D人脸姿态的局限性，应用范围更广，具有重要的实际应用价值。

• (2): 创新点：该方法将2D人脸图像投影到3D生成模型的潜在空间中进行交换，利用3D人脸的强几何和纹理先验，实现了3D感知的人脸交换，克服了传统方法中2D人脸姿态的局限性。性能：该方法在视觉质量、身份相似性、多视角一致性等方面均表现出较好的性能，在FaceForensics++数据集上的评测中，相比现有最好的2D方法提高了3.13%的身份相似度，实现了面部细节的转移。工作量：由于需要将2D人脸图像转化为3D模型的潜在空间表示，因此在推理时间上需要进行参数调优，工作量稍大。同时，由于最终图像是通过3D生成器进行渲染，无法准确恢复衣服和背景等物品。