论文解读——掌纹生成网络 RPG-Palm升级版PCE-Palm

该文章是2023年论文RPG-Palm的升级版
论文：PCE-Palm: Palm Crease Energy Based Two-Stage Realistic Pseudo-Palmprint Generation
作者：Jin, Jianlong and Shen, Lei and Zhang, Ruixin and Zhao, Chenglong and Jin, Ge and Zhang, Jingyun and Ding, Shouhong and Zhao, Yang and Jia, Wei
出版刊物：Proceedings of the AAAI Conference on Artificial Intelligence
代码：https://github.com/Ukuer/PCE-Palm

---

---

1、算法概述

腾讯优图的掌纹生成文章，从2022年的BézierPalm，到2023年的RPG-Palm，到今年2024年的PCE-Palm，该文章是将RPG-Palm中从Bézier曲线一步到位生成掌纹图片拆分成了两步进行，新增了中间一步叫做PCE图像，减小了一步到位生成掌纹图像的难度。

---

2、背景知识

因为该论文是基于RPG-Palm进行改进升级的，所以有必要了解一下RPG-Palm算法的训练和推理步骤，详细论文解读见博文掌纹生成网络RPG-Palm论文解读，RPG-Palm算法框架如下图所示：

图(a)是训练阶段，图(b)是推理阶段；
生成器G结构类似于常见的图像生成器结构UNet，为了生成多样化的结果，引入了条件自适应实例规范化模块(CAdaIN)，对每个Down-Block和Up-Block生成的细节进行调制。D是判别器，而编码器E用于将掌纹图像进行编码，论文中了Resnet结构，为了保证生成的id类内一致，作者添加了ID-aware Loss。
推理阶段，可以看到，是一步到位的，即直接从Bézier图像经过生成器G生成了“伪”掌纹图像。

---

3、算法细节

PCE-Palm掌纹生成算法基于RPG-Palm算法将推理步骤拆分成两个阶段，中间插入了生成PCE图像( palm crease energy)，下图是两者的区别：

可以看到，从Bézier曲线图到掌纹图像之间有着巨大差距，而RPG-Palm算法试图一步到位生成(上面的箭头)，而本文的PCE-Palm算法分两步，首先从Bézier曲线图生成手掌折痕图，第二步再加入皮肤纹理(下面的箭头)。

3.1 Transfer from Bézier Palm to PCE Domain

在第一阶段，生成器G_B->P将随机采样的Bézier曲线转换为PCE图像。第一阶段主要的网络就是生成器G_B->P，为了模拟高斯MFRAT
滤波器(Jia,Huang,andZhang2008)的效果，作者提出了线特征增强模块( line feature enhancement block, LFEB)用于增强生成器G_B->P对线路能量特性的关注能力。第一阶段及生成器G_B->P以及线特征增强模块LFEB的结构如下：

PCEM模块用于从真实掌纹图像中提取PCE图像，它的结构如下：

---

3.2 Generate Realistic Palmprint from PCE Domain

第二阶段是利用PCE图像生成逼真的掌纹图像，其训练生成器G_P->R的框图如下：

其中，生成器G_P->R和编码器E依然和RPG-Palm一样，均是采用Unet和Resnet结构，PCEM模块同第一阶段一样，用于从掌纹图像中提取PCE图像信息。

与RPG-Palm不一样的是，对于确认生成的掌纹与真实像不像这里的损失，RPG-Palm用是的Lid损失函数加L1和判别器D的损失，Lid损失函数是计算两张图片特征的余弦相似度大小；而本论文是用的循环ID一致性损失L_cyc加L1和判别器D的损失，这个循环ID一致性损失L_cyc说白了也是L1损失，只是计算的两张图片是PCE图像，一个是由真实掌纹图而来，一个是由生成的掌纹图而来，它是基于这个假设，生成的掌纹图越像真实掌纹图，那么两者的PCE图应该也非常像。

循环ID一致性损失L_cyc公式如下：

生成器G_P->R的损失函数以及第二阶段整个损失函数的公式如下：

---

3.3 推理阶段

推理阶段就没那么复杂了，直接利用上面两节训练好的生成器G_B->P和生成器G_P->R进行生成就行，首先用随机抽样的控制点生成Bézier曲线。然后，使用生成器G_B→P将Bézier曲线转换到PCE域。之后，用训练好的生成器G_P→R可以以PCE图像作为ID条件生成逼真的掌纹。为了生成多样化的掌纹，将随机噪声向量输入到G_P→R中作为潜在的控制向量，以再现各种光线和皮肤纹理。如下面框图所示：

同时，作者为了最大限度地减少了生成掌纹和真实掌纹之间的差距。还根据皮肤纹理学方面的知识，设计了Bézier曲线的5个模板，生成Bézier曲线均基于这些模板，如下图所示：

---

4、实验

开放集掌纹识别对比情况如下表所示：

限制id数量下掌纹识别对比情况如下：

在开放集协议下，采用不同的生成方法进行定量识别的对比情况如下：

消融实验

线特征增强模块LFEB提升掌纹中线的特征提取能力，可视化结果如下：

可以看到，掌纹图像经过LFEB模块后，线特征得到了强化，有点图像锐化的效果，对于后续生成PCE图像有帮助。