光学分辨率光声显微镜中基于深度学习的运动校正算法

在这项研究中，我们提出了一种基于深度学习的方法来校正光学分辨率光声显微镜 (OR-PAM) 中的运动伪影。该方法是一种卷积神经网络，它从具有运动伪影的输入原始数据建立端到端映射，以输出校正后的图像。首先，我们进行了仿真研究，以评估所提出方法的可行性和有效性。其次，我们采用这种方法处理具有多个运动伪影的大鼠脑血管图像，以评估其在体内应用中的性能。结果表明，该方法适用于大血管和毛细血管网络。与传统方法相比，本研究中提出的方法可以通过修改训练集轻松修改，以满足 OR-PAM 中运动校正的不同场景。

介绍

光学分辨率光声显微镜( OR-PAM)是光声成像 (PAI)的一个独特子类别 [ 1、2、3 ]。通过将锐聚焦脉冲激光与快速热膨胀引起的超声波信号的高灵敏度检测相结合，OR-PAM 提供了微米级的光学衍射极限横向分辨率和毫米级的成像深度。凭借这些特殊的特性，OR-PAM 被广泛应用于生物学、医学和纳米技术的研究 [ 4]. 然而，高分辨率成像模式对运动伪影也极为敏感，这主要归因于动物的呼吸和心跳。运动伪影对于体内目标成像几乎是不可避免的，这会导致图像定量分析的关键信息丢失。因此，有必要探索可以减少 OR-PAM 中运动伪影影响的图像处理方法。

最近，已经为PAI提出了几种运动校正方法以获得高质量图像 [ 5、6、7、8 ]。大多数现有算法主要基于广泛应用于光声计算机断层扫描 (PACT) 且仅适用于横截面 B 扫描图像的去模糊方法[ 5、6 ]。施瓦茨等。[ 7 ] 提出了一种算法来校正声学分辨率光声显微镜 (AR-PAM) 的相邻 B 扫描图像之间的运动伪影。不幸的是，该算法需要一个动态参考，这在高分辨率 OR-PAM 图像中是不可行的。Zhao 等人提出的一种方法。[ 8] 具有解决这些缺点的能力，但只能纠正沿慢扫描轴方向的位错。最近基于深度学习的方法在许多领域展示了最先进的性能，例如自然语言处理、音频识别和视觉识别[ 9、10、11、12、13、14 ]。深度学习通过使用反向传播算法来指示网络应如何更改其内部参数来发现复杂的结构，这些参数用于根据前一层中的表示计算每一层中的表示。卷积神经网络 (CNN) 是图像处理中深度学习的常用模型 [15 ]。在这项研究中，我们提出了一个完整的 CNN [ 16 ] 来校正 OR-PAM 的最大振幅投影 (MAP) 图像而不是体积中的运动伪影。为了评估该方法的性能，我们进行了模拟测试和体内实验。实验结果表明，所提出的方法可以消除模拟和体内 MAP 图像中的位移。

方法

实验装置

本研究中的 OR-PAM 系统已在以前的出版物中进行了描述 [ 17]. 高重复频率激光器作为重复频率为 50 KHz 的照射源。激光束耦合到单模光纤中，通过光纤准直透镜（F240FC-532，Thorlabs Inc.）准直，并通过物镜聚焦以照亮样品。定制的微机电系统扫描仪由多功能数据采集卡（PCI-6733，National Instrument Inc.）驱动，实现快速光栅扫描。我们使用中心频率为 10 MHz、带宽为 80% 的平面超声换能器（XMS-310-B，Olympus NDT）检测光声信号。原始光声信号由自制前置放大器以 ~ 64 dB 放大，并由高速数据采集卡以 250 MS/s 的采样率（ATS-9325，Alazar Inc.）数字化。使用 Matlab (2014a, 数学）。我们使用希尔伯特变换导出每个深度分辨光声信号的包络，并沿轴向投影最大幅度以形成 MAP 图像。我们使用张量流包实现了我们的运动校正算法，并在个人计算机上使用 Python 软件训练了这个神经网络。

CNN算法

图 1举例说明了 CNN 的映射过程。在这种情况下，输入是一个二维的 4×4 矩阵，卷积核是一个 2×2 矩阵。首先，我们选取​​输入矩阵右上角相邻的四个元素（a,b,e,f），将每个元素与卷积核中对应的元素相乘，将所有计算出的元素相加，形成输出矩阵中的S1 . 我们通过在输入矩阵的任一方向上将 4 × 4 矩阵移动一个像素来重复相同的过程，以计算输出矩阵中剩余的像素值。CNN 按两个主要属性分类：局部连通性和参数共享。如图 1所示，元素S1不与输入层中的所有元素相关联；它仅与空间局部区域（a、b、e、f）中的少量元素相关联。一个隐藏层有多个特征图，一个特征图内的所有隐藏元素共享相同的参数，进一步减少了参数的数量。

图。1

卷积神经网络的映射过程

本文中 CNN 的结构如图 2所示。用于训练的带有运动伪影的图像是从地面实况图像中获得的。如图2所示，该方法由三个卷积层组成。第一个卷积层可以表示为

(1)

图 2

 

基于卷积神经网络的运动校正结构

 

结果

训练结束后，我们进行了一系列实验来评估该方法的性能。在模拟中，我们创建了一个沿 Y 轴方向的位移，用白色箭头表示（图 3 (a)）。我们用经过训练的 CNN 处理图像并获得结果，如图3 (b) 所示。对比处理前后的图像，我们观察到位移已经被校正，这表明我们的算法在模拟情况下效果很好。

图 3

仿真实验结果

 

我们创建了水平伪影和垂直运动伪影，如图 4 (a) 所示。图 4 (c) 和 (d) 分别显示了蓝色矩形和黄色矩形中运动伪影的放大视图。图4 (b) 描绘了通过所提出的方法校正后的 MAP 图像，其中水平伪影和垂直运动伪影都已得到校正，如图 4 (e) 和图4 ( f ) 所示。

图 4

 

校正水平和垂直错位运动伪影的结果。对应于大鼠大脑原始数据的 MAP 图像。b运动校正后的 MAP 图像。c和d ( a )中两个框的放大图像。e和f ( b )中相应区域的放大图

我们使用不同的内核大小评估了网络性能。我们进行了三个实验：（1）第一个实验中的内核大小为 3×3；(2) 第二个内核大小为 4 × 4；(3) 第三个实验中的内核大小为 5×5。图 6 中的结果 表明，使用更大的内核大小可以显着提高该算法的性能。但是，处理效率会降低。因此，网络规模的选择应该始终是性能和速度之间的权衡。

图 6

使用不同内核大小的结果

结论

我们通过实验证明了所提出方法的可行性，该方法使用 CNN 来校正 OR-PAM 中的运动伪影。与现有算法[5、6、7、8]相比，所提出的方法在消除没有任何参考对象的所有方向上的运动伪影方面表现出更好的性能。此外，我们验证了该方法的性能随着内核大小的增加而提高。尽管此方法是为 OR-PAM 设计的，但在使用相应的训练集时，它能够校正其他成像方式（例如光声层析成像、AR-PAM 和光学相干层析成像）中的运动伪影。