论文阅读：“Model-based teeth reconstruction”

Abstract

近年来，基于图像的人脸重建方法日趋成熟。这些方法可以捕捉整个面部或面部特定区域（如头发、眼睛或眼睑）的高精细静态和动态几何模型。遗憾的是，基于图像的口腔捕捉方法，尤其是牙齿捕捉方法，却很少受到关注。然而，牙齿的精确渲染对于面部表情的逼真展示至关重要，目前高质量的面部动画都是通过繁琐的手工工作制作牙列模型。在牙科领域，开发了专门的口腔内牙齿扫描仪，但这种扫描仪还难以广泛使用。

在文章中，研究人员提出了第一种仅凭口腔区域的稀疏照片集就能无创重建整个人特定牙列的方法。该方法的基础是从高质量口扫模型中学习到的新参数牙列先验（parametric tooth row prior）。新的基于模型的重建方法将牙齿与照片相匹配，从而准确匹配可见牙齿，并合理生成遮挡牙齿（occluded teeth）。该方法不仅能无缝集成到整个面部的摄影测量多相机重建设置中，还能从普通的未校准照片甚至手机拍摄的短视频中获得高质量的牙齿建模。

Introduction

由于牙齿表面有半透明的牙釉质涂层，牙齿具有极强的镜面反射性，而由于牙齿下面的牙本质，牙齿又具有高度漫反射性，两者都表现出很强的表面下散射。因此，牙齿只有很少的可见特征，最明显的特征是单个牙齿之间的边界，这甚至不是牙齿表面的特征，因此使用摄影测量（photogrammetric）方法重建牙齿非常具有挑战性。

从另一方面看，牙齿是刚性的，不同对象的牙齿形状变化是可控的，因此牙齿可以很好地进行统计建模（statistical modeling）。基于相机的口腔内部重建由于 non-trivial occlusions 而变得更加复杂。如果不使用专用的嘴唇扩张装置，人们通常很难将嘴张得足够大，即使这样，通常也无法通过单一位姿看到整个口腔。

因此，这篇文章首次提出了一种方法，可从口腔区域的稀疏正常照片集重建牙齿。在这些图像中，人可以做出自然的嘴部表情，而无需在机械支撑下不舒服地张开嘴巴。

Contributions:

• 提供了一个新的整排牙齿参数先验模型，该模型是从高质量石膏模型的数字化数据库中学习的。该牙齿模型对每颗牙齿的局部形状变化、整排牙齿中每颗牙齿的姿态变化以及整排牙齿的位置和比例进行了编码。它还对模型参数的先验分布进行了编码。
• 提出了一种基于图像的新方法，该方法可重建特定个人的牙列，与输入图像中的可见牙齿相匹配，并在先验模型的基础上为部分遮挡和完全隐藏的牙齿生成合理的几何形状。

Teeth Prior Model

人类通常有 32 颗牙齿（去掉智齿后为 28 颗），分为上下两排，基本对称。牙齿分为四类：门牙（incisors）、犬牙（canines）、前臼齿（premolars）和臼齿（molars），如下图所示。

Data Preparation

为了建立牙齿数据库，我们从医学牙科领域获得了 86 排不同牙齿的高分辨率石膏三维扫描图像，其中包括上排牙齿和下排牙齿。其中一部分扫描结果如下图所示。

Teeth Templates. 为了建立和训练模型，需要一个牙齿数据库，每个牙齿都有独立的几何图形，并在不同的研究对象之间保持一致。研究人员首先手动（artistically create）创建了一个牙齿模板网格。由于四类牙齿的形状迥异，因而创建了四个独立的模板网格。为了完整起见，研究人员将牙齿一直建模到牙根。

Template Fitting. 现在，我们希望将牙齿模板网格实例与石膏扫描模型中的单个牙齿相匹配。研究人员设计了一种半自动模板拟合方法。首先，用户通过点击牙齿间边界以及牙齿和牙龈边界的几个点，为每颗牙齿定义一个分割轮廓。如下图(a)，左门牙的轮廓用紫色标出，其他轮廓用绿色标出。根据所选点之间的高曲率路径自动计算分割轮廓。此外，用户还可以为每颗牙齿选择几个预定义的 landmarks（门牙和犬齿为三个，前臼齿和臼齿为五个），这些 landmarks 将指导配准及分割。下图(a) 用红色显示了其中一颗门牙的 landmarks。

对于每颗牙齿，首先根据选定的 landmarks 将适当的模板网格与牙齿进行刚性对齐，然后使用迭代拉普拉斯形变进行非刚性变形，以紧密贴合分割后的牙齿区域（上图(c,d)）。

所有扫描模型拟合后的结果是一个包含 per-tooth 网格对应关系的齿列数据库。虽然上述方法中有几步需要人为操作，但建立数据库是一次性的（one-time investment）。

Parametric Teeth Model

从数学上讲，参数化牙齿模型是对典型牙列的形状和姿态偏差进行编码，计算结果为数据库的平均值（如下图所示）。

Teeth Fitting

Teeth Boundary Extraction

可以通过手动标注输入图像来获得牙齿轮廓。虽然这种方法是可行的，而且算法也可以在这种数据上运行，但随着图像数量的增加，这种方法很快就会变得极为繁琐。特别是对于基于视频的牙齿重建使用案例，手动标注是不切实际的。因此研究人员希望自动检测输入图像中的牙齿轮廓。

如上图所示，研究人员定义了三种类型的牙齿边界：牙齿、牙龈及嘴唇。明确区分牙龈和嘴唇对于防止牙齿模型牙龈线与嘴唇边界错误对齐至关重要。为了识别边界，文章采用了增强边缘学习（BEL） 算法。BEL 是一种用于边缘和物体边界检测的通用监督学习算法，它根据小块图像上的大量通用快速特征（包括梯度、滤波器响应直方图和不同尺度的哈尔小波）将图像像素分类为边界。研究人员在一组手工标注的输入图像上分别训练三个检测器，每个检测器对应上述特定的牙齿边界。下图显示了训练数据的几个示例。

Reference

[1] Wu, C. , Bradley, D. , Garrido, P. , Zollhfer, M. , Theobalt, C. , & Gross, M. , et al. (2016). Model-based teeth reconstruction. International Conference on Computer Graphics and Interactive Techniques. ACM.