3DMM模型

BFM

BFM_2009

01_MorphableModel.mat

from scipy.io import loadmat
original_BFM = loadmat("01_MorphableModel.mat")
# dict_keys: ['__header__', '__version__', '__globals__',
#			 'tl',
#			 'shapeMU', 'shapePC', 'shapeEV',
#			 'texMU', 'texPC', 'texEV',
# 			 'segbin', 'segMM', 'segMB']

这个mat文件是通过MATLAB创建的，所有的index都是从1开始，需要特别注意。这个文件里主要存了3DMM mesh的几何（shape）和纹理（tex）相关的PCA参数。
$\text{\_\_header\_\_}$: MATLAB 5.0 MAT-file, Platform: GLNX86, Created on: Wed Jul 23 15:09:28 2008
$\text{\_\_version\_\_}$: 1.0
$\text{\_\_globals\_\_}$: []
$\text{tl}$: [106466, 3]，106466个面片，每个面片的顶点序号。
$\text{shapeMU}$:这个字段存的是mean shape。维度 [160470, 1], 53490个3D顶点reshape成了[160470, 1]的维度，数值范围[-114062.2, 131943.88]，实际使用时，一般会除以1e5，将单位统一到分米。
$\text{shapePC}$: 这个字段存的是 principle shape components，shape的主成分基。维度[160470, 199]，基的维度为199维。数值范围[-0.041886166，0.046161193]。
$\text{shapeEV}$: 这个字段存的是shape eigen value，表征shape每个主成分分量的标准差。维度[199, 1], 数值范围[3750.5396, 884336.25]。
$\text{texMU}$: mean texture，维度[160470, 1]，数值范围[14.414997, 239.3551]。
$\text{texPC}$: principle texture components，维度[160470, 199]，数值范围[-0.050797794, 0.055871148]。
$\text{texEV}$: texture eigen value，维度[199, 1]，数值范围[127.32297, 4103.179]。
$\text{segbin}$:维度[53490, 4]，以one-hot的形式定义了每个3D点所属的语义类别，如下图所示总计分为4类。
$\text{segMM}$: 维度[53490, 53490]，稀疏矩阵。
$\text{segMB}$: 维度[53490, 213960]，稀疏矩阵。

shape或者texture的计算公式为：

obj = mu + pc * (coef * ev)

shape还会叠加上表情系数带来的顶点偏移量。因此更具化的计算过程如下：

texture = tex_mu + tex_pc * (tex_coef * tex_ev)

shape = shape_mu + shape_pc * (tex_coef * shape_ev) + exp_pc * (exp_coef * exp_ev)
shape /= 1e5

原生的BFM2009只有shape和texture，没有提供表情相关的PCA参数。表情相关的PCA参数用的是下述的exp_pca.bin。

exp_pca.bin

原始的BFM2009模型包含53490个顶点。
CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images中提供的表情基包含了53215个顶点。真的是说来话长，这里的53215个顶点是借鉴了Face Alignment Across Large Poses: A 3D Solution这篇论文的处理方式，删掉了inner mouth vertices，具体从原始的53490个顶点中取了哪53215个点构成新的mesh，可以看model_info[‘trimIndex’]字段。那又为什么要删掉口腔内部顶点呢？

D3DFaceRecon又在53215的基础上沿着face landmarks裁剪，新的mesh包含35709个顶点。

topology_info.npy

topology = np.load("topology_info.npy", allow_pickle=True).item()
# dict_keys: ['tris', 'vert_tris', 'sub_inds']

这个npy文件定义了顶点数为34650，面片数为68746的$\text{mesh}$拓扑结构。
$\text{tris}$: [68746, 3]，每个面片由3个顶点组成，这个字段存储了68746个面片的每个面片的顶点序号。
$\text{vert\_tris}$: [34650, 8], 每个顶点会连接8个三角面片，这字段存储了34650个顶点的每个顶点连接的面片序号，面片从0开始编号。
$\text{sub\_inds}$: [34650,], 顶点序号从0开始，排到了53423，但实际只使用了34650个顶点，这个字段存储了这34650个顶点的序号。

这里有个问题，$\text{sub\_inds}$最大序号是53423，合计53424个点，01_MorphableModel中定义的mesh是53490个点。少掉的具体是哪66个点？

exp_info.npy

exp_info = np.load("exp_info.npy", allow_pickle=True).item()
# dict_keys: ['mu_exp', 'base_exp', 'sig_exp']

$\text{mu\_exp}$：表情均值，维度[103950,]，34650个3D点reshape成了[103950,]维度，数值范围[-607.75006, 725.0776]。
$\text{base\_exp}$：表情基，维度[79, 103950], 表情基维度为79维，数值范围[-0.028425552, 0.07618008]。
$\text{sig\_exp}$：表情基的方差，维度[79,]，数值范围[1587.7286, 285403.94]。