大脑网络与智力：基于图神经网络的静息态fMRI数据分析方法|文献速递-医学影像人工智能进展

Title

题目

Brain networks and intelligence: A graph neural network based approach toresting state fMRI data

大脑网络与智力：基于图神经网络的静息态fMRI数据分析方法

01

文献速递介绍

智力是一个复杂的构念，包含了多种认知过程。研究人员通常依赖一系列认知测试来测量认知的不同方面，并形成针对智力的具体衡量标准，如流体智力（在新情况中推理和解决问题的能力）（Kyllonen和Kell，2017）、结晶智力（利用知识和经验解决问题的能力）以及总智力（整体认知能力的综合衡量）。人类对于揭示这些智力的神经基础以及预测个体智力差异的兴趣始终没有减弱。尽管文献中的传统MRI研究集中在各种表型的结构性大脑测量（Suresh等，2023；Ray等，2023），但快速增长的研究已经开始探讨基于大脑功能特征的智力预测（Ferguson等，2017；He等，2020；Dubois等，2018）。根据（Vieira等，2022）的综述，功能性磁共振成像（fMRI）已成为预测智力的最常用方法，且静息态fMRI（rs-fMRI）衍生的静态功能连接性（FC）是最常研究的预测指标。rs-fMRI通过血氧水平依赖（BOLD）信号测量静息状态下的大脑自发活动，以响应神经元活动。FC被定义为通过计算BOLD信号时间序列，衡量大脑区域之间的时间相关性，而rs-fMRI FC提供了大脑内在组织的全面视角（Lee等，2012）。事实上，默认模式网络和前顶叶网络之间的FC已被验证有助于个体认知能力的差异（Hearne等，2016）。

虽然大多数智力预测方法使用线性回归方法，但一些研究已经应用了非线性方法，包括多项式核支持向量回归（SVR）（Wang等，2015）和核岭回归（He等，2020）方法以及深度神经网络（He等，2020；Fan等，2020；Li等，2023）。近年来，图神经网络（GNNs）引起了广泛的关注，并在端到端图学习应用中迅速发展。GNNs被认为是解决图结构数据分析问题的最先进深度学习方法，因为它们指定了一种神经网络，使其适应具有节点和边的图结构，并在图中嵌入节点特征和边特征与结构信息。各种研究已探讨GNNs在社交网络、蛋白质网络和神经生物标志物等不同应用中的有效性（Kim和Ye，2020；Kazi等，2023；Nandakumar等，2021）。鉴于大脑的网络结构特性，使用GNNs建模大脑连接组已被实现。大多数大脑GNN研究利用rs-fMRI的FC图（Ktena等，2018；Škoch等，2022；Wu等，2021；Ma等，2018），并对受试者的特定表型进行分类，如性别（Arslan等，2018；Kazi等，2021）或特定疾病状态（Kazi等，2021；Ma等，2018），而其在智力预测方面的能力尚未被研究。

大多数GNNs假设节点在整个图中以相同的方式学习嵌入，这对于大脑连接组来说是一个问题，因为大脑具有子网络的特性（Parente和Colosimo，2020）。最近，BrainGNN（Li等，2021）提出了一种新的GNN架构，解决了这个问题，提出了一种基于聚类的嵌入方法，在图卷积层中使得不同聚类中的节点（代表不同的大脑网络）可以以不同方式学习嵌入。受到BrainGNN的启发，我们提出了一种新颖的GNN模型——Brain ROI-aware Graph Isomorphism Networks（BrainRGIN），用于智力预测。首先，我们利用图同构网络（GIN）（Xu等，2018）来提高GNNs的表达能力，GIN旨在逼近Weisfeiler–Lehman（WL）图同构测试的能力。与BrainGNN类似，我们也通过引入感兴趣区域（ROI）的聚类表示来解决节点相同学习机制的限制。通过结合这两种架构，我们的模型能够有效捕捉大脑区域之间的局部和全局关系。此外，我们验证了包括基于注意力的输出方法在内的各种聚合和读取函数。据我们所知，这是首个使用图神经网络揭示大脑模式并使用静息态fMRI数据进行智力预测的研究。我们在大型数据集上评估了我们提出的模型，并展示了它在预测智力个体差异方面的有效性。

Abatract

摘要

Resting-state functional magnetic resonance imaging (rsfMRI) is a powerful tool for investigating the relationship between brain function and cognitive processes as it allows for the functional organization ofthe brain to be captured without relying on a specific task or stimuli. In this paper, we present a novelmodeling architecture called BrainRGIN for predicting intelligence (fluid, crystallized and total intelligence)using graph neural networks on rsfMRI derived static functional network connectivity matrices. Extendingfrom the existing graph convolution networks, our approach incorporates a clustering-based embedding andgraph isomorphism network in the graph convolutional layer to reflect the nature of the brain sub-networkorganization and efficient network expression, in combination with TopK pooling and attention-based readoutfunctions. We evaluated our proposed architecture on a large dataset, specifically the Adolescent BrainCognitive Development Dataset, and demonstrated its effectiveness in predicting individual differences in intelligence. Our model achieved lower mean squared errors and higher correlation scores than existingrelevant graph architectures and other traditional machine learning models for all of the intelligence predictiontasks. The middle frontal gyrus exhibited a significant contribution to both fluid and crystallized intelligence,suggesting their pivotal role in these cognitive processes. Total composite scores identified a diverse set of brain regions to be relevant which underscores the complex nature of total intelligence.

静息态功能磁共振成像（rsfMRI）是一个强大的工具，用于研究大脑功能与认知过程之间的关系，因为它允许在不依赖特定任务或刺激的情况下捕捉大脑的功能组织。在本文中，我们提出了一种新的建模架构，称为BrainRGIN，用于通过图神经网络在rsfMRI衍生的静态功能网络连接矩阵上预测智力（流体智力、结晶智力和总智力）。基于现有的图卷积网络，我们的方法在图卷积层中结合了基于聚类的嵌入和图同构网络，以反映大脑子网络组织的性质和高效的网络表达，并结合了TopK池化和基于注意力的输出函数。我们在一个大型数据集（特别是青少年大脑认知发展数据集）上评估了我们提出的架构，并证明了它在预测智力个体差异方面的有效性。我们的模型在所有智力预测任务中，比现有的相关图架构和其他传统机器学习模型都取得了更低的均方误差和更高的相关性得分。中额回旋对流体智力和结晶智力均表现出显著的贡献，表明其在这些认知过程中的关键作用。总合成分数识别了一组多样化的大脑区域，这突显了总智力的复杂性质。

Conclusion

结论

In this research study, a novel technique called Brain ROI-AwareGraph Isomorphism Networks, BrainRGIN , was proposed to predictintelligence using static FNC matrices derived from resting-state fMRIdata. BrainRGIN integrates the expressive power of GIN and clusteringbased GCN and also incorporates attention-based readout function,in the hope of better representing brain networks and improvingmodel prediction. Specifically, by replacing the aggregation functionof GIN with that of RGCN, the model leverages the powerful representation learning capability of GIN, while still capturing the edgestrength and edge type represented by a clustering-based embeddingmethod. Another notable aspect of the proposed architecture is the useof attention-based readout functions instead of conventional readoutmethods, which is proven to be very effective as can be seen fromTable 1. The attention mechanism assigns importance scores to eachnode, effectively capturing spatial relevance information for prediction. Using attention-based readout functions not only improved theoverall prediction of the model but also validated the theory thatdifferent brain regions contribute in a different manner to intelligenceprediction.

在这项研究中，提出了一种名为 Brain ROI-Aware Graph Isomorphism Networks (BrainRGIN) 的新技术，用于通过静态功能网络连接（FNC）矩阵预测智力，这些矩阵来源于静息态fMRI数据。BrainRGIN 结合了图同构网络（GIN）和基于聚类的图卷积网络（GCN）的表达能力，同时还引入了基于注意力的输出函数，旨在更好地表示大脑网络并提高模型预测性能。具体来说，通过用RGCN的聚合函数替换GIN的聚合函数，模型不仅利用了GIN强大的表示学习能力，还能捕捉通过基于聚类的嵌入方法表示的边强度和边类型。

该架构的另一个显著特点是采用基于注意力的输出函数，而不是传统的输出方法，这一方法已经被证明非常有效，从表1中可以看出。注意力机制为每个节点分配重要性分数，有效地捕捉了空间相关性信息以进行预测。使用基于注意力的输出函数不仅改善了模型的整体预测性能，还验证了不同的大脑区域在智力预测中以不同方式做出贡献的理论。

Results

结果

The experimental results are summarized in Tables 1 and 2. InTable 1, it is evident that the BrainRGIN architecture demonstratedpromising performance in predicting fluid intelligence, achieving amean squared error (MSE) of 263 and a correlation coefficient of 0.23when employing RGIN convolution combined with the SERO readoutmethod. Moreover, it yielded the best results in predicting crystallizedintelligence, with an MSE of 263.7 and a correlation of 0.30 using thesame RGIN convolution and SERO readout method. Notably, for totalcomposite scores, the GARO attention-based readout function in conjunction with the RGIN graph model attained the highest performance,achieving an MSE of 261 and a correlation of 0.31.Furthermore, we observed stable and comparable performancesfrom baseline models such as BrainNetCNN (Kawahara et al., 2017),FBNetGen (Kan et al., 2022a), and GT (Dwivedi and Bresson, 2020),indicating the reliability of these models. However, the Brain NetworkTransformer (BNT) (Kan et al., 2022b) exhibited robust performancewith higher correlation scores and lower mean squared errors. AlthoughBrainRGIN* occasionally reported lower mean squared errors comparedto BNT, the performance appeared to be comparable. Additionally,BrainRGIN* surpassed all traditional baseline models and exhibitedsuperior performance compared to Support Vector Regression (SVR),Linear Regression (LR), and Ridge Regression. It consistently achievedlower MSE values and higher correlation coefficients across all metrics,namely fluid intelligence, crystallized intelligence, and total compositescores. These results underscore the effectiveness of RGIN aggregation and attention-based readout methods over the BrainGNN modeland other baseline models in predicting intelligence scores. Moreover,attention-based readout methods were found to outperform other readout techniques, significantly contributing to the architecture’s successin predicting intelligence scores.These findings underscore the importance of carefully selecting appropriate graph neural network components for predicting intelligencescores from rsfMRI data and provide a valuable foundation for futureresearch in this area.

实验结果总结如下，详见表1和表2。在表1中，显然BrainRGIN架构在预测流体智力方面表现出色，当使用RGIN卷积结合SERO输出方法时，达到了263的均方误差（MSE）和0.23的相关系数。此外，在预测结晶智力方面，它也取得了最佳结果，使用相同的RGIN卷积和SERO输出方法时，MSE为263.7，相关系数为0.30。值得注意的是，对于总综合得分，结合RGIN图模型的GARO基于注意力的输出函数达到了最佳表现，MSE为261，相关系数为0.31。

此外，我们观察到基准模型（如BrainNetCNN（Kawahara等，2017）、FBNetGen（Kan等，2022a）和GT（Dwivedi和Bresson，2020））的表现稳定且可比，表明这些模型的可靠性。然而，Brain Network Transformer（BNT）（Kan等，2022b）表现出强大的性能，具有更高的相关性得分和更低的均方误差。尽管BrainRGIN偶尔在均方误差上略低于BNT，但其表现似乎是可比的。此外，BrainRGIN超过了所有传统的基准模型，并在支持向量回归（SVR）、线性回归（LR）和岭回归（Ridge Regression）等方法中表现更优。在所有指标上，它持续达到了更低的MSE值和更高的相关系数，包括流体智力、结晶智力和总综合得分。这些结果凸显了RGIN聚合和基于注意力的输出方法在预测智力得分时，相对于BrainGNN模型和其他基准模型的有效性。此外，基于注意力的输出方法被发现优于其他输出技术，对架构在预测智力得分中的成功贡献显著。

这些发现强调了在从rsfMRI数据预测智力得分时，仔细选择适当的图神经网络组件的重要性，并为该领域未来的研究提供了宝贵的基础。

Figure

图

Fig. 1. Overall architecture of BrainRGIN. The static FNC matrix is extracted from a resting state fMRI time series data. Three blocks of BrainRGIN are used with attention-based readout functions followed by a fully connected layer for prediction

图1. BrainRGIN 的整体架构。静态功能网络连接（FNC）矩阵是从静息态fMRI时间序列数据中提取的。使用了三个BrainRGIN模块，结合基于注意力的输出函数，之后通过全连接层进行预测。

Fig. 2. Regions significant in fluid and crystallized intelligence prediction.

图2. 在流体智力和结晶智力预测中具有显著性的区域。

Fig. 3. Significant regions expressed as connectivity networks for total composite scores

图3. 表示为连接网络的总综合得分的显著区域。

Table

表

Table 1Comparison of different BrainRGIN architectures for intelligence prediction.

表1 不同 BrainRGIN 架构在智力预测中的比较。

Table 2Comparison of BrainRGIN with baseline models on ABCD dataset.

表2 BrainRGIN 与基准模型在ABCD数据集上的比较。

Table 3Effect of edges threshold selection in model prediction.

表3 边阈值选择对模型预测的影响。

Table 4Comparison of BrainRGIN with baseline models on HCP dataset.

表4 BrainRGIN 与基准模型在HCP数据集上的比较。

Table 5Evaluation of BrainRGIN components and their performance on total composite scores.

表5 BrainRGIN组件的评估及其在总综合得分上的表现。