Longitudinal Change Detection on Chest X-rays Using Geometric Correlation Maps

文章来源：[MICCAI2019]

Keywords：Chest X-ray；Longitudinal analysis；Change detection；Geometric correlation

---

一、本文提出的问题以及解决方案

在胸部X-ray图像的诊断中，医生会考虑与先前检查相比病变的可能变化。本文的目标是对一个病人的两张不同时期的图像检测其中病变的纵向变化。
因此，本文提出了一个在纵向胸部X-ray图像中变化检测的模型。

---

二、数据集

本文是在在自己的私有数据集上构建了变化检测数据集。
193个句子中通过时间相关的关键词描述了疾病的变化，比如aggravation, increment, disappear, decrease, stable（加重、增加、消失、减少、稳定）。
将193个句子分为两类：155个句子用于change（在18911个reports），38个句子用于no-change（302456个reports）。
文中用了一个不错的举例：
1、change class：
“decreased amount of bilateral pleural effu- sion”; (“双侧胸腔积液量减少”)
“improving pulmonary edema”; (“改善肺水肿”)
“mild improvement of consolidation in both lungs”。（双肺实变轻度改善）
2、no-change class:
“no interval change since last study”;
“no change of stable tuberculosis”;
“emphysema, no interval change”。

数据集一共有1751对change类别，3721对no-change类别。共5472对（10944张images）。
涉及的类别：

• pleural effusion
• pulmonary edema
• pneumothorax
• pleural thickening
• haziness

---

三、方法

模型一共分为3部分：
（a) 孪生的特征提取模块。（b）几何相关性图：两个特征图之间局部描述符的每一个可能匹配的分数图集。（c）线性分类器

1、Two-Stream Feature Extraction

在特征提取模块使用了squeeze and excita- tion network (SENet)。SENet包含两个模块：squeeze module that summarizes local information和excitation module that scales the importance based on the local information。
5个attention blocks为128, 160, 192, 224 and 256 channels。最大池化为2 x 2。

2、Normalized Geometric Correlation Map

该模块的作用是提取的两个feature maps生成一个匹配模式。但是由于患者姿势、扫描角度等，两个feature maps不可能原始的对齐，因此计算了每个可能的描述符配对的相关分数。

上式中相当于用F0中i,j匹配F1中所有，然后迭代所有可能的(i,j)。最后会得到一个h*w的score maps，geometric correlation map G。

3、Binary Classifier

这里就是一个全卷积网络（FCN）。
在输入图像不包含变化（前两行）的情况下，相关性图似乎沿对角线显示高分。否则（最后两行），地图往往会呈现相对分散的分数。