Learning an Animatable Detailed 3D Face Model from In-The-Wild Images论文笔记

论文目标:提出一个端到端的框架,可以从非受控的图片中学习高质量、可动画的3D人脸模型。

论文方法:

1. 数据准备:从网络收集大量真实图片构建训练集,使用基于深度学习的方法预测2D人脸轮廓和表情等。

2. 基于图像重建损失进行端到端训练,网络包含两个模块:

   • 参数化的3D人脸几何结构模块:预测面部网格拓扑结构和vertex位置。
   • 渲染模块:将3D模型渲染为2D图片。

3. 训练过程中结合对齐、重建和经典3DMM方法作为正则化,使预测的3D模型更精细和逼真。

4. 提出拓扑优化模块,进一步优化面部网格结构,使其更协调自然。

5. 训练好的模型可以进行多种后处理,如细节增强、泛化等。

论文结果:

1. 在多项评价指标上优于其他state-of-the-art方法。

2. 可以从单张野生图片重建高质量3D人脸,包含精细的几何结构和表情细节。

3. 生成的3D人脸模型可直接用于动画和渲染。

论文意义:

1. 该方法适用于从非受控的野生图片中重建高质量3D面部,可用于多种下游任务。

2. 提出了端到端训练框架,无需复杂流水线。

3. 生成模型可直接用于3D动画,具有良好的泛化能力。

4. 方法效果优于当前最先进技术,为从单张图片重建3D面部提供了进一步改进。