【PVCodeNet】《Palm Vein Recognition Network Combining Transformer and CNN》

[1]吴凯,沈文忠,贾丁丁,等.融合Transformer和CNN的手掌静脉识别网络[J].计算机工程与应用,2023,59(24):98-109.

---

---

1、Background and Motivation

• 生物特征识别的重要性
• 掌静脉识别的优势
• 传统掌静脉识别方法的局限性

掌静脉识别流程包括手掌静脉图像的采集、图像预处理、特征提取、识别验证四个阶段。

为了进一步提升识别精度，本文设计了结合 Transformer Encoder 和 CNN 并运用扩大决策边界的损失函数 AAM-Loss（additive angular margin loss）的掌静脉特征编码识别网络 PVCodeNet。

2、Related Work

特征提取传统方法

• 基于结构特征的方法
• 基于子空间的方法
• 是基于纹理特征的方法

基于深度学习的特征提取

3、Advantages / Contributions

贡献：

• 提出新的掌静脉识别网络PVCodeNet
• 实现高精度识别
• 验证网络泛化性能

创新点

• 首次将Transformer Encoder应用于掌静脉识别
• 使用深度超参数化卷积（Do-Conv）
• 引入规一化的注意力机制（NAM）
• 使用扩大决策边界的损失函数（AAM-Loss）

4、Method

手掌关键点定位+ROI提取

选取食指与中指间隙 A、中指与无名指间隙 B 以及无名指与小指间隙 C 作为手掌关键点

L 设置为 20 个像素

---

图像增强

使用 CLAHE 对比度增强后，图像噪声也得到了增强，噪声对后续的掌静脉特征提取及匹配会产生影响，本文运用中值滤波图像去噪方法来降低图像噪声的干扰

---

在 resnet18 的基础上修改，网络结构由 1 个Transformer Encoder 模块和 4 个改进的 BasicBlock 组成

• 首次把 Transformer Encoder 模块应用于掌静脉识别任务中（Transformer Encoder拥有全局的感受野和矩阵并行运算的能力，本文把Transformer Encoder 应用于主干网络初始阶段进行特征提取可以快速获取全局的掌静脉特征信息，提取的特征信息更加充分和全面。）

• 使用改进的残差块 ImprovedBlock（本文在传统的卷积层基础上增加一个额外的深度卷积构成深度超参数化卷积Do-Conv，使网络呈现一种过参数化状态，增加了网络可学习的参数，因此提取出的静脉特征区分度更大，特征质量更高。）

• 使用扩大决策边界的损失函数 Additive Angular Margin Loss 取代 softmax

---

Transformer Encoder

---

ImprovedBlock

深度超参数化卷积 Do-Conv（Depthwise Over-parameterized Convolutional Layer）

核心思想：在训练阶段使用额外的深度卷积来增强传统的卷积层。具体来说，每个输入通道都与不同的二维卷积核进行卷积操作，这两个卷积的组合构成了一个过参数化结构，因为它增加了可学习的参数。然而，在推理阶段，这些额外的深度卷积会被折叠到传统的卷积层中，使得最终的计算量与没有过参数化的卷积层完全相同。

不同的是，Do-Conv 比传统卷积层 Conv 在训练时多了一次深度卷积，这样就会使网络呈现出一种过参数化状态，保证了足够的参数量，用更多的参数训练不但可以提升训练速度，而且可以使网络收敛到更好的参数组合使提取静脉特征更加具有区分性，尤其是对于纹理高度相似难以区分的困难样本提取出来的特征向量区分度更大。

来自

Cao J, Li Y, Sun M, et al. Do-conv: Depthwise over-parameterized convolutional layer[J]. IEEE Transactions on Image Processing, 2022, 31: 3726-3736.

注意力机制 NAM

---

Additive Angular Margin Loss

5、Experiments

5.1、Datasets and Metrics

• PolyU
• SEPAD-PV（该数据集是自己用红外相机采集的 108人的手掌静脉图像，每个人左右手在旋转不同角度下在两个时期分别采集10张，左右手视为不同的类，共 216 类 4320 张图像）
• Tongji
• SDUMLA（山东大学）

评价指标 EER（equal error rate）

5.2、Hyper-parameters

首先使用基准网路在 PolyU 数据集上探究了不同的超参数起始学习率 LR 和批次 Batchsize 组合对精度的影响，

---

特征向量维度对比实验

512 维最好

---

AAM-Loss 对比实验

AAM-loss 有两个超参，s 和 m

s 被固定设置为 30，实验 m 的值对结果的影响

结论：AAM-Loss 的参数设置 s 和 m 分别设置为 30 和 0.45

5.3、Ablation Experiments

AAM-Loss 的引入提升很大

Transformer Encoder 的引入在 EER 评价指标上表现的最明显

绘制出了余弦相似度分布图，静脉图像特征向量之间的夹角越小，余弦值就越大，对应的余弦相似度就越高。

本文的方法类内相似度分布更加集中

本文算法类内余弦相似度分布在 0.8~1 之间，更加接近于理想情况下同类样本余弦相似度为1的分布，降低了在匹配阶段类内与类间模板出现交集，导致类内样本被误识为类间样本的风险。

5.4、Compare with other methods

---

看看在其它数据集上的表现

拉满

---

与其他算法的对比

6、Conclusion（own） / Future work

• Do-ConV，直观上感觉是，1x1 = 1，（1x10） x （10x1） = 1，Flops 明显会增加，网络的参数量还是没有变化的
• AAM-loss，基于 softmax 改进

---

更多论文解读，请参考 【Paper Reading】