《双流多依赖图神经网络实现精确的癌症生存分析》| 文献速递-基于深度学习的多模态数据分析与生存分析

Title

题目

Dual-stream multi-dependency graph neural network enables precise cancer survival analysis

《双流多依赖图神经网络实现精确的癌症生存分析》

01

文献速递介绍

癌症是全球主要的死亡原因，2020年约有1930万新发癌症病例和近1000万癌症相关死亡病例（Sung et al., 2021）。令人震惊的是，预计到2040年全球癌症负担将增加47%，达到2840万例（Sung et al., 2021）。鉴于癌症种类繁多，对各种器官和系统的影响各异，精准医学，特别是考虑到个体患者状况和癌症进展的生存分析，具有显著减少癌症流行并应对肿瘤异质性挑战的潜力，从而具有重要的临床和商业价值。

通常，基于组织病理学的生存分析依赖于在组织病理切片中目视检查和量化细胞形态、侵袭性或炎症/浸润的组织病理学改变/特征（Gurcan et al., 2009）。然而，由于全切片图像（WSI）的巨像素大小，这一过程对于病理学家来说非常耗时且劳动密集。此外，最终分析还受到病理学家主观经验和知识的影响，使预测结果不确定。在过去几年中，先进的全切片成像技术与深度学习技术的结合在基于组织病理WSI的生存分析中引起了显著的研究兴趣，提供了克服这些挑战的有希望的解决方案。与传统方法相比，计算病理学方法在效率、客观性、可重复性和远程诊断的可能性方面表现突出（Abels et al., 2019；Louis et al., 2016），这可能为缓解全球合格病理学家的严重短缺和区域不平衡提供新的视角。

Abstract

摘要

基于组织病理图像的生存预测旨在提供精确的癌症预后评估，并为个性化治疗决策提供信息，以改善患者的治疗效果。然而，现有的方法无法自动建模每张全切片图像（WSI）中众多形态多样的补丁之间的复杂相关性，从而阻碍了对患者状态的更深层次理解和推断。为了解决这个问题，我们提出了一种新的深度学习框架，称为双流多依赖图神经网络（DM-GNN），以实现精确的癌症患者生存分析。具体来说，DM-GNN通过特征更新和全局分析分支来更好地将每个WSI建模为基于形态亲和性和全局共同激活依赖关系的两个图。这两种依赖关系从不同但互补的角度描绘了每个WSI，DM-GNN的两个设计分支能够共同实现对补丁间复杂相关性的多视图建模。此外，DM-GNN还通过引入亲和性引导的注意力重新校准模块作为读出功能，增强了在图构建过程中对依赖信息的利用。这个新颖的模块提高了对特征扰动的鲁棒性，从而确保了更可靠和稳定的预测。在五个TCGA数据集上的广泛基准实验表明，DM-GNN优于其他最先进的方法，并基于高注意力补丁的形态描述提供了可解释的预测见解。总体而言，DM-GNN代表了一种强大且辅助的基于组织病理图像的个性化癌症预后工具，具有很大的潜力来帮助临床医生做出个性化的治疗决策，并改善患者的治疗效果。

Conclusion

结论

In this study, we have developed a novel dual-stream multidependency graph neural network, referred to as DM-GNN to improve histopathology image-based cancer patient survival analysis.Importantly, DM-GNN is capable of modeling the complex correlationsbetween numerous morphology-diverse patches in each WSI, therebyenabling a more profound understanding and inference of patients’survival status. More specifically, DM-GNN models the original WSIas two independent graphs with theoretically distinct dependencies,which focus on the morphological similarities and global co-activatingcorrelations, respectively. Leveraging such a strategy, DM-GNN cansuccessfully establish the deep correlations between patches from theglobal viewpoint, thereby being able to conduct a comprehensiveanalysis of each WSI. Moreover, we also propose a new affinity-guidedattention recalibration module to enable more robust node-level featureaggregation against noise from multiple perspectives. To assess theperformance and utility of the proposed DM-GNN framework, wehave performed extensive benchmarking experiments on five TCGAbenchmark datasets. We envision that the development and availabilityof the data-driven deep learning-based tools, such as DM-GNN proposedin this study, can be explored as powerful tools to facilitate communitywide efforts and inform clinical decision-making underpinning digitalpathology and precision oncology

在本研究中，我们开发了一种新的双流多依赖图神经网络，称为DM-GNN，以改进基于组织病理图像的癌症患者生存分析。重要的是，DM-GNN能够建模每个WSI中众多形态多样补丁之间的复杂关联，从而实现对患者生存状态的更深入理解和推断。更具体地说，DM-GNN将原始WSI建模为具有理论上不同依赖关系的两个独立图，分别关注形态相似性和全局共同激活相关性。利用这种策略，DM-GNN可以从全局视角成功建立补丁之间的深层关联，从而能够对每个WSI进行综合分析。此外，我们还提出了一种新的基于亲和性的注意力重新校准模块，以从多个角度增强对抗噪声的节点级特征聚合的鲁棒性。为了评估所提出的DM-GNN框架的性能和实用性，我们在五个TCGA基准数据集上进行了广泛的基准实验。我们设想，数据驱动的深度学习工具（如本研究中提出的DM-GNN）的开发和可用性可以作为强大的工具来促进社区范围内的努力，并为数字病理学和精准肿瘤学的临床决策提供信息。

Figure

图

Fig. 1. Overview of the proposed dual-stream multi-dependency graph neural network (DM-GNN). The framework comprises pre-processing operations to convert WSIs into bags offeatures and feed-forward computation to predict hazard rates. Regarding the network, it is constructed by the feature updating branch and global analysis branch for representationgeneration and affinity-guided attention recalibration module for graph-level feature aggregation. Eventually, one linear layer will predict the risk of each patient.

图1. 所提出的双流多依赖图神经网络（DM-GNN）的概述。该框架包括预处理操作，将WSI转换为特征包，并进行前馈计算以预测风险率。网络方面，它由特征更新分支和全局分析分支构成，用于表示生成和基于亲和性的注意力重新校准模块，用于图级特征聚合。最终，通过一个线性层来预测每个患者的风险。

Fig. 2. Kaplan–Meier survival curves of our proposed DM-GNN and ground truth across five cancer types. High-risk and low-risk patients are represented by red and blue lines,respectively. The x-axis shows the time in months and the y-axis presents the probability of survival. The log-rank test is used to evaluate the statistical significance in survival distributions between low-risk and high-risk patients (P-Value < 0.05).

图2. 我们提出的DM-GNN与五种癌症类型的真实数据的Kaplan-Meier生存曲线。高风险和低风险患者分别由红色和蓝色线表示。x轴显示时间（月），y轴表示生存概率。使用log-rank检验评估低风险和高风险患者生存分布的统计显著性（P值 < 0.05）。

Fig. 3. Attention visualization of DM-GNN on two WSIs in high-risk and low-risk cohorts from the TCGA-BLCA dataset. (a,d), (b,e) and (c,f) present the segmented WSIs,attention-mapped WSIs, and high-attention patches, respectively. Particularly, experienced pathologists depict the morphological features of the attention patches, revealing theprediction insights of the trained model.

图3. DM-GNN在TCGA-BLCA数据集中高风险和低风险队列的两个WSI上的注意力可视化。(a,d)、(b,e)和(c,f)分别展示了分割后的WSI、注意力映射的WSI以及高注意力补丁。特别是，有经验的病理学家描述了注意力补丁的形态特征，揭示了训练模型的预测见解。

Fig. 4. Case study of the WSI from TCGA-GBMLGG dataset in terms of segmented WSI (a), attention WSI (b), affinity matrix (c), and attention matrix (d).

图4. TCGA-GBMLGG数据集中WSI的案例研究，包括分割后的WSI (a)、注意力WSI (b)、亲和矩阵 (c) 和注意力矩阵 (d)。

Table

表

Table 1 Data details of the BLCA, BRCA, GBMLGG, LUAD and UCEC datasets with CS, US,and AP representing censored samples, uncensored samples and average patches,respectively.

表1 BLCA、BRCA、GBMLGG、LUAD和UCEC数据集的详细数据，其中CS、US和AP分别代表删失样本、未删失样本和平均补丁数。

Table 2 Performance comparison with state-of-the-art methods on TCGA datasets in terms of c-index.

表2 在TCGA数据集上与最先进方法在c-index方面的性能比较。

Table 3Analysis of the number of local prototypes on TCGA datasets in terms of c-index.

表3TCGA数据集上基于c-index的局部原型数量分析。

Table 4 Ablation study on the TCGA-GBMLGG, TCGA-LUAD and TCGA-UCEC datasets. Specifically, we evaluate the significance of the proposed FUB, GAB, and AARM in terms of c-index

with detail.

表4 在TCGA-GBMLGG、TCGA-LUAD和TCGA-UCEC数据集上的消融研究。具体来说，我们评估了所提出的FUB、GAB和AARM在c-index方面的详细意义。