《Effects of Graph Convolutions in Multi-layer Networks》阅读笔记

一.文章概述

本文研究了在XOR-CSBM数据模型的多层网络的第一层以上时，图卷积能力的基本极限，并为它们在数据中信号的不同状态下的性能提供了理论保证。在合成数据和真实世界数据上的实验表明a.卷积的数量是决定网络性能的一个更重要的因素，而不是网络中的层的数量。b.只要放置相同数量的卷积层，只要不在第一层，任何放置组合能实现相似的性能增强。c.当图相对稀疏的时候，多个图卷积是有利的。

注意，本文研究的重点是比较图卷积与不利用关系信息的传统MLP的优点和局限性。作者的设置不受异配性问题的影响，且不考虑过平滑发生的情况。

二.预备知识

数据模型

令$n$表示数据点的数量，$d$表示特征维度。定义伯努利随机变量${\epsilon }_1,\dots ,{\epsilon }_n\sim \mathrm{Ber}(1/2)$和${\eta }_1,\dots ,{\eta }_n\sim \mathrm{Ber}(1/2)$。定义两个类别 C b = { i ∈ [ n ] ∣ ε i = b } C_b=\left\{i \in[n] \mid \varepsilon_i=b\right\} Cb​={i∈[n]∣εi​=b}，其中 b ∈ { 0 , 1 } b \in\{0,1\} b∈{0,1}。

令$\mathbf{\mu }$和$\mathbf{\nu }$表示${\mathbb{R}}^d$中的固定向量，其满足$\Vert \mathbf{\mu }{\Vert }_2=\Vert \mathbf{\nu }{\Vert }_2$ 和$⟨\mathbf{\mu },\mathbf{\nu }⟩=0$（即$\mathbf{\mu }$和$\mathbf{\nu }$正交）。令$\mathbf{X}\in {\mathbb{R}}^{n\times d}$为数据矩阵，其中每行${\mathbf{X}}_i\in {\mathbb{R}}^d$是一个独立的高斯随机向量分布${\mathbf{X}}_i\sim \mathcal{N}\left(\left(2{\eta }_i-1\right)\left(\left(1-{\epsilon }_i\right)\mathbf{\mu }+{\epsilon }_i\mathbf{\nu }\right),{\sigma }^2\right)$。用$\mathbf{X}\sim \mathrm{XOR}-\mathrm{GMM}\left(n,d,\mathbf{\mu },\mathbf{\nu },{\sigma }^2\right)$表示从该数据模型中采样的数据。

令 $\mathbf{A}={\left(a_{ij}\right)}_{i,j\in [n]}$表示对应于图（含自环的无向图）信息的邻接矩阵，该矩阵是从一个标准的对称双块随机块模型（symmetric two-block stochastic block model）中采样的，该模块的参数为$p$和$q$，其中$p$表示块内边概率，$q$表示块间边概率。作者将$\mathrm{SBM}(n,p,q)$与$\mathrm{XOR}-\mathrm{GMM}\left(n,d,\mathbf{\mu },\mathbf{\nu },{\sigma }^2\right)$耦合在一起，即若${\epsilon }_i={\epsilon }_j$，则$a_{ij}\sim \mathrm{Ber}(p)$，否则$a_{ij}\sim \mathrm{Ber}(q)$。

至此，可得定义的数据模型 ( A , X ) = ( { a i j } i , j ∈ [ n ] , { X i } i ∈ [ n ] ) (\mathbf{A}, \mathbf{X})=\left(\left\{a_{i j}\right\}_{i, j \in[n]},\left\{\mathbf{X}_i\right\}_{i \in[n]}\right) (A,X)=({aij​}i,j∈[n]​,{Xi​}i∈[n]​)，即$(\mathbf{A},\mathbf{X})\sim \mathrm{XOR}-\mathrm{CSBM}\left(n,d,\mathbf{\mu },\mathbf{\nu },{\sigma }^2,p,q\right)$。

令$\mathbf{D}$表示邻接矩阵对应的度矩阵， N i = { j ∈ [ n ] ∣ a i j = 1 } N_i=\left\{j \in[n] \mid a_{i j}=1\right\} Ni​={j∈[n]∣aij​=1}表示节点$i$的邻居集。

网络架构

作者的分析聚焦于带ReLU激活的MLP架构，$L$层网络定义如下：
$$\begin{array}{rl}& {\mathbf{H}}^{(0)}=\mathbf{X}\\ & f^{(l)}(\mathbf{X})={\left({\mathbf{D}}^{-1}\mathbf{A}\right)}^{k_l}{\mathbf{H}}^{(l-1)}{\mathbf{W}}^{(l)}+{\mathbf{b}}^{(l)}\\ & {\mathbf{H}}^{(l)}=\mathrm{ReLU}\left(f^{(l)}(\mathbf{X})\right)\\ & \hat{\mathbf{y}}=\phi \left(f^{(L)}(\mathbf{X})\right).\end{array}$$
其中$l\in [L]$，$\phi (x)=\mathrm{sigmoid}(x)=$ $\frac{1}{1+e^{-x}}$，最后一层的输出表示为 y ^ = { y ^ i } i ∈ [ n ] \hat{\mathbf{y}}=\left\{\hat{y}_i\right\}_{i \in[n]} y^​={y^​i​}i∈[n]​。${\mathbf{D}}^{-1}\mathbf{A}$表示正则化的邻接矩阵，$k_l$表示层$l$中的图卷积数量。对于给定数据集$(\mathbf{X},\mathbf{y})$，采用二进制交叉熵来进行优化：
$${\ell }_{\theta }(\mathbf{A},\mathbf{X})=-\frac{1}{n}\sum _{i\in [n]}{y}_i\log \left({\hat{y}}_i\right)+\left(1-y_i\right)\log \left(1-{\hat{y}}_i\right)$$

三.理论分析结果

设置Baselines

作者设置了一个没有图信息的对比baseline。作者用用混合模型的均值与数据点数$n$之间的距离来表征XOR-GMM数据模型的分类阈值。令$\Phi (\cdot )$ 表示标准高斯的累积分布函数。

重要结论：若两个类的特征均值相距不超过$O(\sigma )$，那么在压倒性的概率下，有常数比例的点被错误分类。

通过图卷积进行改进

本节阐述了图卷积在多层卷积中的影响。

重要结论：多层模型中将图卷积放置在第一层会损害分类精度，下图(a)展示的的便是第一层中没有图卷积的网络，可见不同类别的数据并不是线性可分的，对其进行图卷积后，两个类的均值会坍缩到同一点，如图（b）。然后，在最后一层使用图卷积则不同，由于输入由线性可分的转换特征组成，图卷积有助于分类任务。

图卷积的放置

多层网络分类能力的提高取决于卷积的数量，而不取决于卷积放置的位置。对于XOR-CSBM数据模型，在任何组合中在第二层和/或第三层之间放置相同数量的卷积，可以在分类任务中实现与上节相似的改进。

四.实验

本节通过实验证明第四节中的结论。

合成数据集

图卷积的位置并不重要，只要它不在第一层，(a)和(b)表明对于在第二层或第三层中有一个图卷积的所有网络，以及在第二层和第三层之间的任何组合中有两个图卷积的所有网络，性能是相互相似的。

在图是dense的情况下，两个图卷积并不比一个图卷积获得显著的优势。（参见图©和图(d)）

真实世界数据集

作者在论文引用网络Cora、Citeseer和Pubmed上进行实验，得到结论为：

• 利用图的网络比不使用关系信息的传统MLP表现得明显更好。
• 在任何层中具有一个图卷积的所有网络都实现了相互相似的性能，并且在任何位置组合中具有两个图卷积的所有网络都实现了相互相似的性能。