Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

Neurips 24

推荐指数： #paper/⭐⭐⭐#​

摘要

我们的研究结果表明，由于GNN中的超参数设置次优，之前报道的GT的优越性可能被夸大了。值得注意的是，通过轻微的超参数调整，这些经典GNN模型就实现了最先进的性能，在所检查的18个不同数据集中的17个数据集中，与最近的GT相匹配甚至超过了。

贡献：

1. 通过适当的超参数调整，经典GNN可以在具有多达数百万个节点的同配图和异配图的节点分类中实现极具竞争力的性能。值得注意的是，经典GNN的表现优于最先进的GT，在18个数据集中的17个数据集上排名第一。这表明之前声称的GT相对于GNN的优势可能被夸大了，可能是由于GNN评估中的超参数配置次优。
2. 我们的消融研究对用于节点分类的GNN超参数有价值的见解。我们证明了（1）normalization对于大规模图至关重要;（2）Dropout始终被证明是有益的;（3）残差链接可以显着提高性能，尤其是在异亲图上;（4）异配图上的GNN往往在更深的层中表现得更好

GNN训练的关键参数

Normalization

具体的是，一般有Layer Normalization 和bath normalization两种

$$\boldsymbol{h}_v^l=\sigma(\mathrm{Norm}(\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac{1}{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l)).$$

Dropout

$$\boldsymbol{h}_v^l=\mathrm{Dropout}(\sigma(\mathrm{Norm}(\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac1{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l))).$$

Residual Connections（残差连接)

残差网络可以明显的增加GNN的性能通过将输入层和输出层链接到一起

$$\boldsymbol{h}_v^l=\mathrm{Dropout}(\sigma(\mathrm{Norm}(\boldsymbol{h}_v^{l-1}\boldsymbol{W}_r^l+\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac1{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l)))$$

网络深度：

虽然DeepGCN和DeeperGCN等之前的研究主张使用最多56层和112层的深度GNN，但我们的研究结果表明，可以通过2-10层的GNN架构来实现相当的性能。

​​

​​

​​

观测结果，结论：

对同配图的观察（表2）。经典GNN仅对超参数进行轻微调整，在同配图的节点分类任务中具有高度竞争力，在许多情况下往往优于最先进图transformer。

对异配图的观察（表3）。我们的实验显着增强了之前报道的异性图上经典GNN的最佳结果，超越了为此类图量身定制的专业GNN模型，甚至超越了领先的图Transformer架构。这一进步不仅支持而且强化了先前文章中的发现，即传统GNN是异配图的有力竞争者，挑战了它们主要适合同配图结构的普遍假设。

在roman-empire方面，GCN的表现增长了17.58%。有趣的是，我们发现改善主要源于残差连接，我们的消融研究将对残余连接进行进一步分析

​​

对大图上的观察（表4）。我们的实现显着增强了之前报告的经典GNN结果，在某些情况下，准确性出现了两位数的提高。它在这些大型Graph数据集（无论是同配还是异配）中取得了最好的结果，并且性能优于最先进的图transformer。这表明消息传递对于学习大图上的节点表示仍然非常有效

总而言之，基本GNN可以在大规模图形上实现最著名的结果，这表明当前的Graph transformer尚未解决过度平滑和长距离依赖性等GNN问题。

消融

观察1：normalization（BN或LN）对于大规模图形上的节点分类很重要，但在小图形上不太重要。

​​

‍

normalization在大图中始终至关重要，去掉会导致GraphSAGE和GAT对ogbn蛋白的准确性分别降低4.79%和4.69%。我们认为这是因为大图显示了更广泛的节点特征，从而导致整个图表中的数据分布不同。normalization有助于在训练期间标准化这些特征，确保更稳定的分布。

观察2：人们一致认为，Dropout对于节点分类至关重要。

观察3：残差连接可以显着提高特定数据集的性能，对异配图的影响比对同配图的影响更明显。

​​

观察4：与同配图相比，更深的网络通常会导致异性图的性能提高更大。

我们的研究对基础GNN模型在节点分类任务中的功效进行了彻底的重新评估。通过广泛的实证分析，我们证明这些经典GNN模型可以达到或超过GT在各种图数据集上的性能，挑战GT在节点分类任务中的明显优势。此外，我们全面的消融研究还深入了解了各种GNN配置如何影响性能。我们希望我们的研究结果能够促进图机器学习研究中更严格的实证评估

总结：

本文中使用的残差公式类似于：$h_v^l=h_v^{l-1}+F(h_v^{l-1})$。其思想是将第i层输出和第i-1层的输入联系在一起

个人觉得其与雪花假设等有相似之处：

$$\begin{equation} h_v^l = \begin{cases} F(h_v^{l-1}) & \text{if } v < l, \\ h_v^{l-1} & \text{if } v \geq l. \end{cases} \end{equation}$$

其思路是在第l层后使用Identity函数。

其思想都是认为，在某种情况下，原始特征已经和聚合的特征一样重要了。本文直接将原始特征和聚合特征相加，雪花假设是在聚合特征到某种情况下后对此节点停止特征传播。哪种更有效，可能在现在的手头的工作做完之后做消融