MaskGAE论文阅读

What’s Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

碎碎念：一篇论文看四天，效率也没谁了(捂脸) 看一点忘一点，虽然在本子上有记录，但还是忘，下次看一点在博客上记一点启发
本来很不理解计算机专业为啥还要做实验(以前觉得实验式生物化学物理那种)，其实从这篇论文中可以看到，从实验结果得出来了很多结论，而且实验结果也进一步论证了作者的推理
一定要看附录，附录有时候也有很有用的信息！！

• MaskGAE主要是在理论上分析了为什么设计这样的架构，并且把生成式学习和对比式学习以互信息的视角统一了起来，即都是最大化互信息(公式推的没看明白，只能借助gpt大致理解一下，如果有不对的麻烦大家批评指正)
  • 对比学习是最大化正样本对的互信息
  • 生成式学习是最大化相邻节点子图的互信息，让模型能够学习到相邻节点间的相似性，使得节点的表征能够更好地反映图的局部结构
• 还从互信息的角度提出了子图重叠问题，导师邻居节点信息一致性，会掩盖细粒度的差异
• 文中提到边信息的冗余对下游任务影响较小，所以掩盖边，让编码器学习到节点信息
• 提出了边掩码和路径掩码，路径掩码是连续掩码一条路(采用随机游走策略)，使其更好学习到全局信息
• 又提出了结构解码器和度解码器，度解码器相当于是对结构解码器的一个约束，限制模型过度依赖单一重构任务，通过度数来补充结构性信息，可以借鉴
• 负边指的节点之间没有连接，正边指的节点之间有连接
• 而且本文提出encoder获得的节点嵌入是把每一层编码器的输出进行拼接得到的嵌入
• 流程图
  
• 可以借鉴
  • 本文中的评估策略可以借鉴，而且那个早停方法防止训练时间过长也挺有意思的
  • 在链接预测任务中，提到预训练和下游任务都是进行预测，所以减少了这两个之间的差异性，所以结果较好
  • 在节点分类任务中，看到GAE在此任务中比对比学习差很多，说明GAE的泛化能力不行，而且实验结果也表明路径掩码更好
  • 掩码策略使得在训练时只是未被掩码的参与训练，故如果是大规模图，也会表现很好
  • 在稀疏图上没有稠密图上表现出色，感觉可以是一个研究方向？
  • GCN作为encoder编码器比其他GNN模型表现更好