预训练GNN：GPT-GNN Generative Pre-Training of Graph Neural Networks

一.文章概述

本文提出了一种自监督属性图生成任务来预训练GNN，使得其能捕图的结构和语义属性。作者将图的生成分为两个部分：属性生成和边生成，即给定观测到的边，生成节点属性；给定观测到的边和生成的节点属性，生成剩余的边。通过这种方式使得模型能捕获每个节点属性和结构之间的依赖关系。对于每个节点，GPT-GNN可以同时计算其属性生成和边生成损失。另外，为了使得GPT-GNN可以处理大图，作者采用了子图采样技术，并提出自适应嵌入队列来缓解负采样带来的不准确损失。

二.预备知识

之前关于图上预训练的工作可以分为两类：

• network/graph embedding：直接参数化节点嵌入向量，并通过保留一些相似度量来参数化的优化节点嵌入。但该种方式学到的嵌入不能用于初始化其他模型，以便对其他任务进行微调。
• transfer learning setting：预训练一个可用于处理不同任务的通用GNN。

三.GNN的生成式预训练

3.1 GNN预训练问题

为什么需要预训练？

获取足够的标注数据通常具有挑战性，尤其是对于大图，这阻碍了通用GNN的训练。为此，有必要探索GNN的预训练，它能用很少的标签进行泛化。

GNN预训练的正式定义：GNN预训练的目标是完全基于单个（大规模）图$G=(\mathcal{V},\mathcal{E},\mathcal{X})$ 学习一个通用的GNN模型$f_{\theta }$，而不需要标注数据，这使得$f_{\theta }$对于同一个图或同一领域的图上的各种下游任务是一个良好的初始化。

3.2 生成式预训练框架

作者提出GPT-GNN，它通过重建/生成输入图的结构或属性来预训练GNN。

给定输入图$G=(\mathcal{V},\mathcal{E},\mathcal{X})$，GNN模型$f_{\theta }$，作者用GNN$f_{\theta }$建模图上的似然（likelihood）为$p(G;\theta )$，其表示图$G$中的节点是如何归属（attributed）和连接（connected）的。GPT-GNN旨在预训练GNN来最大化图似然，即${\theta }^{\ast }={\text{max}}_{\theta }p(G;\theta )$。

3.2.1 如何建模$p(G;\theta )$

现有的大多数图生成方式采用自回归的方式对概率目标进行因式分解，即按图中的节点顺序来，通过将每个新到达的节点连接到现有节点来生成边。类似地，作者用排列（permutation）向量$\pi$来确定节点顺序，其中$i^{\pi }$表示排列$\pi$中第$i$个位置的节点id。因此，图分布$p(G,\theta )$等价于所有可能排列的期望的可能性，即：
$$p(G;\theta )={\mathbb{E}}_{\pi }\left[p_{\theta }\left(X^{\pi },E^{\pi }\right)\right],$$
其中$X^{\pi }\in \mathbb{R}|\mathcal{V}|\times d$表示排列的节点属性，$E$是边集，$E_i^{\pi }$表示与$i^{\pi }$相连的所有边。为了简化，作者假设观察任何节点排列$\pi$的概率相同。给定一个排列顺序，可以自回归分解log四让，每次迭代生成一个节点：
$$\log p_{\theta }(X,E)=\sum _{i=1}^{|\mathcal{V}|}\log p_{\theta }\left(X_i,E_i\mid X_{<i},E_{<i}\right)$$
在每一步$i$，作者使用$i$之前的所有生成的节点，以及其对应的属性$X_{<i}$、节点间的结构$E_{<i}$来生成新的节点$i$，包括$i$的属性$X_i$和与已有节点的连接$E_i$。

3.3 分解属性图生成

对于条件概率 $p_{\theta }\left(X_i,E_i\mid X_{<i},E_{<i}\right)$ 的建模，一个简单的解决方案是假设$X_i$和$E_i$是独立的，即：
$$p_{\theta }\left(X_i,E_i\mid X_{<i},E_{<i}\right)=p_{\theta }\left(X_i\mid X_{<i},E_{<i}\right)\cdot p_{\theta }\left(E_i\mid X_{<i},E_{<i}\right)$$
采用该种方式时，对每个节点其属性和连接之间的依赖关系被完全忽略了，但这种忽略的依赖性确是属性图的核心属性，也是GNN中卷积聚合的基础，因此，这种朴素的分解不能为预训练GNN提供指导。

为了解决这一问题，作者提出了依赖感知（dependency-aware）分解机制来进行属性图的生成。具体来说，在估计一个新节点的属性时，其结构信息会被给定，反之亦然，即属性图的生成可以分为两步：

• 给定观测到的边，生成节点属性；
• 给定观察到的边和生成的节点属性，生成剩余的边。

通过这种方式，模型可以捕获每个节点的属性和结构之间的依赖关系。

令$o$表示$E_i$中所有观察到的边的索引向量，则$E_{i,o}$表示观测到的边。$\neg o$表示所有掩去边的索引，即待生成的边。基于此，条件概率可以重写为所有观察到的边的期望可能性：
$$\begin{array}{rl}& p_{\theta }\left(X_i,E_i\mid X_{<i},E_{<i}\right)\\ =& \sum _o{p}_{\theta }\left(X_i,E_{i,\neg o}\mid E_{i,o},X_{<i},E_{<i}\right)\cdot p_{\theta }\left(E_{i,o}\mid X_{<i},E_{<i}\right)\\ =& {\mathbb{E}}_o\left[p_{\theta }\left(X_i,E_{i,\neg o}\mid E_{i,o},X_{<i},E_{<i}\right)\right]\\ =& {\mathbb{E}}_o[\underset{\text{1) generate attributes }}{\underbrace{p_{\theta }\left(X_i\mid E_{i,o},X_{<i},E_{<i}\right)}}\cdot \underset{\text{2) generate edges }}{\underbrace{p_{\theta }\left(E_{i,\neg o}\mid E_{i,o},X_{\le i},E_{<i}\right)}}].\end{array}$$
其中$p_{\theta }\left(X_i\mid E_{i,o},X_{<i},E_{<i}\right)$表示节点$i$的属性生成，基于观测到的边$E_{i,o}$，可以聚集目标节点$i$的邻域信息来生成属性$X_i$。$p_{\theta }\left(E_{i,\neg o}\mid E_{i,o},X_{\le i},E_{<i}\right)$表示生成掩去的边，基于观测到的边 $E_{i,o}$和生成的属性$X_i$，可以生成目标节点$i$的表示，然后预测$E_{i,\neg o}$内的每条边是否存在。

3.4 高效的属性和边生成

作者希望同时进行属性生成和边生成，但边的生成需要节点属性作为输入，可以泄露给属性生成。为了避免信息泄露，作者将每个节点设计为两种类型：

• Attribute Generation Nodes：作者将这些节点的属性掩去，并使用dummy token代替它们的属性，并学得一个共享的向量$X^{init}$来表示它。
• Edge Generation Nodes：对这些节点保持其属性，并将其作为GNN的输入。

作者使用$h^{Attr}$和 $h^{Edge}$来分别表示Attribute Generation和Edge Generation节点，由于Attribute Generation Nodes被掩去，$h^{\text{Attr }}$比$h^{Edge}$包含更少的信息。因此，在进行GNN的消息传递的时候，仅使用Edge Generation Nodes的输出$h^{Edge}$作为对外信息。然后，使用这两组节点的表示来生成具有不同解码器的属性和边。

对于属性生成，将其对应解码器表示为${\text{Dec}}^{Attr}(\cdot )$，它以$h^{\text{Attr }}$作为输入，生成被掩去的属性。建模的选择取决于属性的类型。例如如果一个节点的输入属性是文本，则使用文本生成器模型(例如，LSTM)来生成它。此外，作者定义距离函数来作为生成属性和真实值间的度量，即属性生成损失定义为：
$${\mathcal{L}}_i^{\text{Attr }}=\text{ Distance }\left({\text{ Dec }}^{\text{Attr }}\left(h_i^{\text{Attr }}\right),X_i\right).$$
对于边的生成，作者假设每条边的生成都是独立的，然后可以隐式分解似然：
$$p_{\theta }\left(E_{i,\neg o}\mid E_{i,o},X_{\le i},E_{<i}\right)=\prod _{j^{+}\in E_{i,\neg o}}{p}_{\theta }\left(j^{+}\mid E_{i,o},X_{\le i},E_{<i}\right).$$
在获取到Edge Generation node表示$h^{Edge}$后，可以通过${\mathrm{Dec}}^{Edge}\left(h_i^{Edge},h_j^{Edge}\right)$来建模节点$i$与节点$j$连接的可能性，其中$De{c}^{Edge}$表示成对（pairwise）得分函数。最后，采用负对比估计（negative contrastive estimation）来计算每个链接节点$j^{+}$的似然。作者将为连接的节点表示为$S_i^{-}$，对比损失计算公式如下：
L i E d g e = − ∑ j + ∈ E i , ¬ o log ⁡ exp ⁡ ( Dec ⁡ E d g e ( h i E d g e , h j + E d g e ) ) ∑ j ∈ S i − ∪ { j + } exp ⁡ ( Dec ⁡ E d g e ( h i E d g e , h j E d g e ) ) \mathcal{L}_i^{E d g e}=-\sum_{j^{+} \in E_{i, \neg o}} \log \frac{\exp \left(\operatorname{Dec}^{E d g e}\left(h_i^{E d g e}, h_{j^{+}}^{E d g e}\right)\right)}{\sum_{j \in S_i^{-} \cup\left\{j^{+}\right\}} \exp \left(\operatorname{Dec}^{E d g e}\left(h_i^{E d g e}, h_j^{E d g e}\right)\right)} LiEdge​=−j+∈Ei,¬o​∑​log∑j∈Si−​∪{j+}​exp(DecEdge(hiEdge​,hjEdge​))exp(DecEdge(hiEdge​,hj+Edge​))​
下图便展示了属性图生成的过程：

• 确定输入图的节点排列顺序；
• 随机选取目标节点边的一部分作为观测边$E_{i,o}$，剩下的边掩去作为$E_{i,\neg o}$，需要将被掩去的边从图中删除。
• 将节点划分为Attribute Generation和Edge Generation节点。
• 使用修改的邻接矩阵来计算节点3、4和5的表示，包括它们的Attribute和Edge Generation节点。
• 通过每个节点的属性预测和掩去边预测任务并行训练GNN模型。

3.5 扩展到异配和大图

本节主要介绍如何在大图和异配图上应用GPT-GNN进行预训练。

异配图：对于异配图，所提出的GPT-GNN框架可以直接应用于预训练异构GNN。唯一的区别是每种类型的节点和边都可以有自己的解码器，这是由异构gnn指定的，而不是预训练框架。所有其他组件保持完全相同。

大图：对于大图，则需要使用子图采样进行训练。为了估计GPT-GNN提出的对比损失，需要遍历输入图的所有节点。然而，只能访问子图中的采样节点来估计这个损失，使得(自)监督只关注局部信号。为了缓解这个问题，作者提出了自适应队列（Adaptive Queue），它将之前采样的子图中的节点表示存储为负样本。每次处理一个新的子图，可以通过添加最新的节点表示并删除最旧的节点表示来逐步更新这个队列。自适应队列可以使用更大的负样本池$S_i^{-}$，此外，不同采样子图上的节点可以为对比学习带来全局结构指导。