Fair Graph RepresentationLearning via Diverse Mixture-of-Experts

发表于：WWW23
推荐指数： #paper/⭐⭐

问题背景：

背景

现实世界的数据很多样，阻止GNN学习公平的表示。当去偏见化后，他们面临着可学知识不足且属性有限的重大问题

解决方法：

应对公平训练导致可学习知识有限的挑战，G-Fame由多个专家神经网络组成，每个神经网络都包含自己的参数，以学习不同的知识，以实现节点表示的多样化。
此外，为了提高模型对可学习知识缺乏的抵抗力，我们提出了G-Fame++，其中我们从不同的角度设计了三种不同的策略：（1）从节点表示的角度，引入嵌入多样性正规化，使节点能够在消息传递过程中从邻居那里捕获更多不同的信息;（2）从层的角度出发，设计层多样性规则化，使不同层的输出多样化，使浅层和深层都能获得不同的表示;（3）从参数权重冗余的角度出发，提出专家权重正规化，使专家的权重参数多样化，使每个专家都能捕捉到不同的信息
框架图：

余知识

公平图增强

Fairness-Based 图增强

$$m_{ij}=\{\begin{array}{ccc}1& s_i\ne s_j& \forall i,j\in \mathcal{N}\\ 0& \mathrm{otherwise}& \end{array}$$
其中，$m_{ij}=1$表示两个节点，他们拥有不同敏感属性是连接的。M代表mask矩阵去mask邻接矩阵。我们重新构建mask矩阵：（加了阈值)
$$rr(m_{ij})=\{\begin{array}{ll}{m}_{ij}& \text{with probability: }p(m_{ij})=\frac{1}{2}+\delta \\ 1-m_{ij}& \text{with probability: }p(1-m_{ij})=\frac{1}{2}-\delta \end{array}$$
最后，公平矩阵可以表示为：
$$A_{f\mathbf{air}}=A\circ rr(M)$$
（相当于图结构学习)

公平训练

$$\underset{\theta }{\min }\mathcal{L}(\mathcal{D};\theta )+\lambda \Vert \theta {\Vert }_2^2,s.t.\Omega (\mathcal{D};\theta )<0,$$

混合专家

$$y=\sum _{i\in \mathcal{R}}{q}_i(x)E_i(x),$$
其中，q是门控，E是专家
每层的门控由下个函数计算：
$$q_i(x)=\frac{\exp (H(x{)}_i)}{{\sum }_{j=0}^N\exp (H(x{)}_j)},$$

模型架构

G-FAME：图公平混合专家

传播函数：
$$\begin{array}{rl}& h_v^{(l)}=\text{COMBINE}\left({\text{G-FAME}}^{(l)}(h_v^{(l-1)}),m_v^{(l)})\right),\\ & m_v^{(l)}=\text{AGGREGATE}\left(\left\{{\text{G-FAME}}^{(l)}(h_u^{(l-1)}),\forall u\in N(v)\right\}\right)\end{array}$$
实际就是GNN的传播函数
$${\mathrm{G}-\mathrm{FAME}}^{(l)}(h_v^{(l-1)})=\sum _{i\in {\mathcal{H}}^{(l)}}{q}_i^{(l)}(h_v^{(l-1)})W_i^{(l)}(h_v^{(l-1)}),$$

G-FAME++ 加了多个正则化操作

样本多样性

嵌入正则化：让邻居样本相近，非邻居样本相远
$${\mathcal{L}}_{ED}=-\log \frac{{\sum }_{{\mathbf{v}}_j\in V}\exp (\sin (z_i,z_j)/\tau )}{{\sum }_{{\mathbf{v}}_k\in V}\exp (\sin (z_i,z_k)/\tau )},$$

层正则多样性

$$r_{\text{cosine}}\left(z^{l_a},z^{l_b}\right)=\frac{1}{|V|}\sum _{v_i\in V}\frac{\left|z_i^{l_a\top }{z}_i^{l_b}\right|}{{\Vert z_i^{l_a}\Vert }_2{\Vert z_i^{l_b}\Vert }_2},$$
用对比损失去让相近层数靠近，相远层数相远
$$r_{\text{contrast}}\left(z^{l_a},z^{l_b}\right)=-\frac{1}{|V|}\sum _{v_i\in V}\log \frac{\exp \left(z_i^{l_a\top }{z}_i^{l_b}\right)}{\exp \left(z_i^{l_a\top }{z}_i^{l_b}\right)+\exp \left(z_i^{l_a\top }\left(\frac{{\sum }_{j\ne i}{z}_j^{l_b}}{n-1}\right)\right)}$$

$${\mathcal{L}}_{LD}=\sum _{l_a,l_b\in L{|}_{a\ne b}}{r}_{cosine}(z^{l_a},z^{l_b})+r_{contrast}(z^{l_a},z^{l_b}),$$

专家多样性

max ⁡ { W 1 ^ , . . . , W m ^ } ∈ S t − 1 { L M H S ( W ^ ) : = min ⁡ i ≠ j ρ ( W i ^ , W j ^ ) } \max_{\{\hat{W_1},...,\hat{W_m}\}\in\mathbb{S}^{t-1}}\{\mathcal{L}_{\mathrm{MHS}}(\hat{W}):=\min_{i\neq j}\rho(\hat{W_i},\hat{W_j})\} {W1​^​,...,Wm​^​}∈St−1max​{LMHS​(W^):=i=jmin​ρ(Wi​^​,Wj​^​)}
其中，${\hat{\omega }}_i=\frac{\mathrm{vec}(W_i)}{||\mathrm{vec}(W_i)|{|}_2}$， S t − 1 : = { ω ^ ∈ R ∣ ∣ ∣ ω ^ ∣ ∣ 2 = 1 } \mathbb{S}^{t-1}:=\{\hat{\omega}\in\mathbb{R}| ||\hat{\omega}||_{2}=1\} St−1:={ω^∈R∣∣∣ω^∣∣2​=1}，$\rho (\cdot ,\cdot )$表示两个W的最短距离。

最终损失：

${\mathcal{L}}_{\mathrm{G}-\mathrm{FAME}++}={\mathcal{L}}_{GT}+{\mathcal{L}}_{ED}+{\mathcal{L}}_{LD}+{\mathcal{L}}_{MHS}.$

其实，如上可以总结：需要让专家之间的差距变大，否则没有意义。