超分辨率体积重建实现术前前列腺MRI和大病理切片组织病理学图像的3D配准

 摘要：

        磁共振成像（MRI）在前列腺癌诊断和治疗中的应用正在迅速增加。然而，在MRI上识别癌症的存在和范围仍然具有挑战性，导致即使是专家放射科医生在检测结果上也存在高度变异性。提高MRI上的癌症检测能力对于减少这种变异性并最大化MRI的临床效用至关重要。迄今为止，这种改进受到缺乏准确标注的MRI数据集的限制。通过接受根治性前列腺切除术的患者数据，可以将切除前列腺的数字化组织病理学图像与术前MRI进行空间对齐。这种对齐通过将组织病理学图像中的癌症投影到MRI上，有助于在MRI上绘制详细的癌症标签。我们提出了一种框架，通过三个步骤将全切片组织病理学图像与术前MRI进行三维配准。首先，我们开发了一种新颖的多图像超分辨率生成对抗网络（miSRGAN），该网络通过生成重建的3D MRI来学习对3D配准有用的信息。其次，我们训练网络以学习组织病理学切片之间的信息，从而促进3D配准方法的应用。第三，我们将重建的3D组织病理学体积与重建的3D MRI进行配准，将组织病理学图像中的癌症范围映射到MRI上，而无需切片间的对应关系。与插值方法相比，我们的超分辨率重建相对于临床3D MRI获得了最高的峰值信噪比（PSNR）（32.15 dB vs BSpline插值的30.16 dB）。此外，通过超分辨率重建的MRI和组织病理学图像的3D体积配准，与（1）最先进的RAPSODI方法&#x