第六十二周周报 HestGCL

week 62 HestGCL

摘要

本周阅读了题为Heterogeneous Spatio-Temporal Graph Contrastive Learning for Point-of-Interest Recommendation的论文。该文提出了一种新的POI推荐模型HestGCL，它超越了现有方法的局限性，探索了一种基于对比学习的新策略。构建了一个异构时空图，并设计了一个跨视图异构时空图对比学习框架来捕获异构信息。本文提出的异构时空图神经网络可以从空间和时间两个角度进行信息聚合，对比学习模块可以提取视图之间共享的信息，从而缓解数据稀疏性问题。在三个基准数据集上的实验结果表明，HestGCL模型优于所有基线模型。

Abstract

This week’s weekly newspaper decodes the paper entitled Heterogeneous Spatio-Temporal Graph Contrastive Learning for Point-of-Interest Recommendation. The paper proposes a new POI (Point of Interest) recommendation model called HestGCL, which overcomes the limitations of existing methods by exploring a new strategy based on contrastive learning. A heterogeneous spatiotemporal graph is constructed, and a cross-view heterogeneous spatiotemporal graph contrastive learning framework is designed to capture heterogeneous information. The proposed heterogeneous spatiotemporal graph neural network can aggregate information from both spatial and temporal perspectives, and the contrastive learning module can extract shared information across views, thereby alleviating the data sparsity problem. Experimental results on three benchmark datasets show that the HestGCL model outperforms all baseline models.

1. 题目

标题：Heterogeneous Spatio-Temporal Graph Contrastive Learning for Point-of-Interest Recommendation

作者：Jiawei Liu, Haihan Gao, Cheng Yang, Chuan Shi*, Tianchi Yang, Hongtao Cheng,
Qianlong Xie, Xingxing Wang, and Dong Wang

发布：TSINGHUA SCIENCE AND TECHNOLOGY ISSN 1007-0214 14/31 pp186−197

• DOI: 10.26599/TST.2023.9010148
• Volume 30, Number 1, February 2025

2. Abstract

兴趣点（point-of-interest， POI）推荐是推荐系统领域中最重要的主题之一，其目的是向用户推荐潜在的兴趣点。近年来，图神经网络（gnn）已被成功地用于POI推荐中的交互和时空信息建模，但POI推荐的数据稀疏性影响了gnn的训练。尽管一些现有的基于gnn的POI推荐方法尝试使用社会关系或用户属性来缓解数据稀疏性问题，但由于隐私原因，这些辅助信息并不总是可用的。自监督学习为缓解数据稀疏性问题提供了新的思路，但现有的大多数自监督推荐方法不能直接用于POI推荐的时空图。

本文提出了一种新的异构时空图对比学习方法HestGCL，以弥补现有基于gnn的方法的不足。为了对时空信息进行建模，分别生成了时空特定的视图，并设计了特定于视图的异构图神经网络来对时空信息进行建模。为了缓解数据稀疏性，提出了一种跨视图对比策略来捕捉视图之间的差异和相关性，提供更多的监督信号，协同提高整体性能。在三个基准数据集上的大量实验证明了HestGCL的有效性，显著优于现有方法。

3. 文献解读

3.1 Introduction

为了解决这两个限制，提出了一种新的POI推荐方法，称为异构时空图对比学习（HestGCL）。为了更精细地建模POI推荐场景中的异构性，构建了包含三类节点（即User、POI和Location）和三种关系的异构时空图，有助于揭示异构信息对推荐的影响。为了解决数据稀疏性和时空噪声给GNN模型带来的挑战，受自监督学习[17]的启发，提出了一种时空异构图的交叉视图对比学习技术。具体来说，首先将完整的异构图划分为空间视图和时间视图。然后，分别针对空间视图和时间视图设计了空间感知和时间感知的图神经网络。最后，使用从每个视图获得的节点表示进行对比学习。

在三个公共数据集上的实验结果表明，hesstgcl模型在POI推荐任务上取得了比现有基线方法一致且显著的改进。Recall@50在Foursquare、Gowalla和美团的相对提升率分别为8.83%、14.61%和6.86%。烧蚀实验和超参数实验进一步证明了该模型的有效性和鲁棒性。

3.2 创新点

本文的贡献总结如下：

1. 与传统基于gnn的POI推荐模型通常建模为用户-POI二部图或多层图不同，将POI推荐任务建模为双视图异构时空图，可以更好地利用数据异质性并减轻数据噪声。
2. 提出了一种新的跨视图异构时空图对比学习模型（HestGCL），该模型将时空异构图神经网络与对比学习相结合，提供自监督信号，缓解数据稀疏性问题。据所知，这是第一次尝试利用异构时空图对比学习进行POI推荐。
3. 在三个基准POI推荐数据集上进行了广泛的实验，性能优于现有的最先进的基线，证明了所提出模型的有效性。

4. 网络结构

4.1 基础

POI推荐系统：令 U = { u 1 , u 2 , … , u M } U=\{u_1,u_2,\dots,u_M\} U={u1​,u2​,…,uM​}为M个用户的集合， P = { p 1 , p 2 , … , p N } P=\{p_1,p_2,\dots,p_N\} P={p1​,p2​,…,pN​}为N个POI的集合。POI推荐任务的目的是根据每个用户U中u的历史POI访问$P_u$、POI的定位$L_P$、交互的时间戳$T_{UP}$将P个POI排列为表。

异质时空图(HeSTG)：HeSTG是指$G=(V,E,L,T)$，由对象集V、链路集E、位置集L以及时间戳集T组成。其中L和T分别与V和E存在关联，存在一个节点类型映射函数$\varphi :V\to A$以及一个链接类型映射$\phi :E\to R$，满足$|A|+|R|>2$

4.2 HestGCL

总体架构如图2所示。首先从原始数据中生成图的拓扑和特征，并将完整的图提取为双视图子图。其次，提出了双视图异构时空图神经网络，生成基于时空和基于时间的嵌入，然后将它们融合得到时空嵌入。最后，设计了对比学习模块，为推荐提供自监督信号。

4.2.1 图的构造和数据的预处理

对于POI推荐任务，相应的HeSTG可以定义为$G=(V_P,V_U,V_L,E_{UP}^T,E_{LP},E_{LL})$，由POI节点集$V_P$、用户节点集$V_U$、位置节点集$V_P$、用户-POI交互边集$E_{UP}^T$（带有签入时间戳集$T$）、位置-POI地理映射边集$E_{LP}$、位置-位置地理邻近边集$E_{LL}$组成。注意，位置节点引用POI$V_L$的区域，其id可以通过geohash编码算法获得。

双视图图提取和视图屏蔽

受多视图表示学习的启发，将完整的HeSTG G提取为两个特定于视图的子图$G_S=(V_P,V_U,V_L,E_{UP},E_{LP},E_{LL}),and{G}_T=(V_P,V_U,E_{UP}^T)$，分别表示空间视图和时间视图。多视图表示学习可以在特定于视图的模块中学习更高层次的表示

• 空间视图$G_S$：包括三种节点$V_P,V_U,V_L$和三种边$E_{UP},E_{LP},E_{LL}$，其中$E_{UP}$不考虑时间的影响。
• 时间视图$G_T$：包括两种节点$V_P,V_U$和一种以时间戳为边特征的边$E_{UP}^T$，不考虑地理因素的影响。

节点特征初始化

只使用ID特征作为输入，而不考虑其他信息（如类别、社会联系），并基于参数化矩阵构建嵌入查找表。以用户节点$V_U$为例，初始化其特征为$X_U=[x_{u_1},\dots ,x_{u_N}]$，其中$N$表示用户数量，$x_u\in R^d$为嵌入向量（表示嵌入大小）。同样，得到POI和位置节点的特征矩阵$X_P$和$X_L$。所有这些特征也被表示为GNN模型的输入$X^{(0)}$

4.2.2 双视图异构时空图神经网络

将介绍该方法的主干GNN，即双视图异构时空图神经网络，命名为HestGNN。具体来说，为空间和时间视图设计了特定于视图的gnn（即HestGNNS和HestGNN-T）。

空间感知图神经网络

对于空间视图，设计了一个空间感知的图神经网络，命名为HestGNN-S。空间视图包含多种类型的节点（即用户、POI、位置）及其关系，每种关系对节点的影响不同。因此，为每种类型的节点设计消息传递函数。首先为它们定义$(k+1)$层节点更新函数
x u ( k + 1 ) = f a g g ( x u ( k ) , { x p ( k ) ∣ p ∈ N u } ) x^{(k+1)}_u=f_{agg}(x^{(k)}_u,\{x^{(k)}_p|p\in N_u\}) xu(k+1)​=fagg​(xu(k)​,{xp(k)​∣p∈Nu​})

x p ( k + 1 ) = f a g g ( x P ( k ) , { x u ( k ) ∣ u ∈ N p } , { x ( k ) ∣ l ∈ N p } ) x^{(k+1)}_p=f_{agg}(x^{(k)}_P,\{x^{(k)}_u|u\in N_p\},\{x^{(k)}|l\in N_p\}) xp(k+1)​=fagg​(xP(k)​,{xu(k)​∣u∈Np​},{x(k)∣l∈Np​})

x l ( k + 1 ) = f a g g ( x l ( k ) , { x p ( k ) ∣ p ∈ N l } ) x^{(k+1)}_l=f_{agg}(x^{(k)}_l,\{x^{(k)}_p|p\in N_l\}) xl(k+1)​=fagg​(xl(k)​,{xp(k)​∣p∈Nl​})

接下来定义每种类型节点的聚合函数$f_{agg}(\cdot )$如下：
f a g g ( x ( k ) , { x p ∈ N u ( k ) } ) = ∑ p ∈ N u 1 ∣ N u ∣ x ( k ) ) p f_{agg}(x^{(k)},\{x^{(k)}_{p\in N_u}\})=\sum_{p\in N_u}\frac1 {|N_u|}x^{(k)})p fagg​(x(k),{xp∈Nu​(k)​})=p∈Nu​∑​∣Nu​∣1​x(k))p

f a g g ( x p ( k ) , { x u , l ∈ N p ( k ) } ) = b p ∑ u ∈ N p 1 ∣ N p ∣ x u ( k ) + ( 1 − b p ) ∑ l ∈ N p 1 ∣ N p ∣ x u ( k ) f_{agg}(x^{(k)}_p,\{x^{(k)}_{u,l\in N_p}\})=b_p\sum_{u\in N_p}\frac1 {|N_p|}x^{(k)}_u+(1-b_p)\sum_{l\in N_p}\frac 1 {|N_p|}x^{(k)}_u fagg​(xp(k)​,{xu,l∈Np​(k)​})=bp​u∈Np​∑​∣Np​∣1​xu(k)​+(1−bp​)l∈Np​∑​∣Np​∣1​xu(k)​

f a g g ( x l ( k ) , { x p , l ∈ N l ( k ) } ) = b l ∑ p ∈ N l 1 ∣ N l ∣ x p ( k ) + ( 1 − b l ) ∑ l ∈ N l 1 ∣ N l ∣ x l ( k ) f_{agg}(x^{(k)}_l,\{x^{(k)}_{p,l\in N_l}\})=b_l\sum_{p\in N_l}\frac{1}{|N_l|}x^{(k)}_p+(1-b_l)\sum_{l\in N_l}\frac{1}{|N_l|}x^{(k)}_l fagg​(xl(k)​,{xp,l∈Nl​(k)​})=bl​p∈Nl​∑​∣Nl​∣1​xp(k)​+(1−bl​)l∈Nl​∑​∣Nl​∣1​xl(k)​

时间感知图神经网络

对于时间视图，设计了一个时间感知的图神经网络，命名为HestGNN-T。时间视图包含userPOI边缘上的签入时间戳，这些时间戳有助于对用户的兴趣偏好进行建模。因此，通过对边缘进行时间编码和在聚合过程中融合边缘嵌入来考虑时间信息。

更具体地说，首先使用小时级时间编码策略将时间戳t转换为嵌入$e_t$。编码策略是建立如下嵌入查找表：
$$e_T=[\sigma (e_{t_1})],\dots ,\sigma (e_{t_N})$$
然后，使用门控策略对k+1层上每个节点的时间嵌入和邻居嵌入进行聚合：
$$x^{(k+1)}=c_u({\hat{x}}_u^{(k+1)}\odot {\tilde{x}}_u)+(1-c_u){\hat{x}}_u^{(k+1)}$$

$$x_p^{(k+1)}=c_p({\hat{x}}_p^{k+1}\odot {\tilde{x}}_p)+(1-c_p){\hat{x}}_p^{(k+1)}$$

以用户u为例，${\hat{x}}_u^{(k=1)}$是对邻居$p\in N_u$嵌入$x_p^{(k)}$进行平均计算，而${\tilde{x}}_u$的计算过程是对节点对$(u,p)$上的时间戳嵌入进行平均，与层无关，只计算一次：
$${\hat{x}}_u^{(k+1)}=\sum _{p\in N_u}\frac{1}{|N_u|}{x}_p^{(k)}$$

$${\tilde{x}}_u=\sum _{p\in N_u}\frac{1}{|N_u|}{e}_{t_{up}}$$

4.2.3 预测与优化

基于从HestGNN-S和HestGNN-T中获得的嵌入，基于时间感知预测模块生成推荐列表，并使用额外的对比模块增强自监督信号。将完整的模型命名为HestGCL。

时间感知预测模块

对每一层$k\in K$的嵌入进行平均，得到时空视图的最终嵌入$(x_u^S,x_p^S),and,(x_u^T,x_p^T)$。例如，
$$x_u^S=\sum _{k\in [0,K]}\frac{1}{|K+1|}{x}_p^{(k)}$$
然后利用注意机制对$x^S,and,x^T$进行融合，得到最终的嵌入$x^F$。
$$x^F=a_{final}{x}^S+(1-a_{final})x^T$$
由于用户的决策与时间密切相关，因此在计算用户嵌入$x_u^F$与poi嵌入$x_p^F$的相似度时，考虑由Eq.(7)得到的时间编码，然后对poi的相似度得分进行排序，生成推荐列表。
$$y_{up}=(x^F-u\odot e_{t_{up}}{)}^T\cdot (x_p^F\odot e_{t_{up}})$$
在优化方面，使用贝叶斯个性化排名（BPR）损失来鼓励观察对的预测高于未观察对：
$$L_{BPR}=-\sum _{u=1}^{|U|}\sum _{i\in N_u}\sum _{j\in N_u}ln({\hat{y}}_{ui}-{\hat{y}}_{uj})$$
横视图图形对比模块

对于每个节点，已经生成了它的空间视图嵌入和时间视图嵌入。为了更好地利用两个视图的信息，提出一种跨视图对比策略，将相应的嵌入和视为正对，而将其他嵌入视为负对。正式的，此处也应用InfoNCE 损失：
$$L_{CL}=\sum _{i\in V}\sum _{j\ne i}-\log (f(x_{S_{(i)}},x_{T_{(i)}})-\log (1-f(x_{(i)},x_{(j)})))$$
将预测模块和跨视图对比学习模块统一为一个主辅学习框架，其中预测模块是主任务，对比学习模块是辅助任务。形式上，总体优化函数为
$$L=L_{BPR}+\beta \ast L_{CL}+\gamma \ast ||\Theta |{|}_2^2$$

5. 实验过程

5.1 实验设置

数据集

为了评估所提出方法的性能，使用了以下三个真实的LBSN数据集。Foursquare[30]和Gowalla[30]是两个基准POI推荐数据集，使用geohash算法生成位置ID和位置邻居。美团†是近期外卖配送数据集，由从美团APP获取的用户订单历史记录组成，包括订单位置ID和poi位置ID。在设置中，忽略订单的区域ID，以保持信息与其他数据集一致。这些数据集的统计信息汇总在表1中。

对于所有数据集，按时间顺序将它们分成训练/验证/测试集，其中最老的70%签入被用作训练集，最近的20%签入被用作验证集，最近的10%签入被用作测试集。

基线

为了验证提出的模型的有效性，将其与五种基线进行比较，如表2所示：非gnn一般推荐模型（即BPRMF[31]和NeuMF[32]）；非gnn POI推荐模型（即LGLMF[33]和STACP[34]）；基于gnn的通用推荐模型（即NGCF[20]和LightGCN[21]）；基于gnn的最先进POI推荐模型（即GPR[12]）；基于GNN分类的推荐模型（即SGL[16]和NCL[17]）。对于所有这些基线，设置了他们论文中报告的最佳超参数设置。

需要注意的是，在本文中，关注的是POI推荐中数据稀疏场景下的时空信息，因此没有选择那些序列模型[35-37]作为下一个POI推荐任务的基线。

实现细节

基于Recbole[38]实现了框架，并使用Adam[39]优化器最小化总体损失，其中学习率设置为。与基线相同，采用耐心为10的早期停止策略，即，如果Recall@5指标在10个周期内没有增加，将停止训练。对于优化函数，将两者和设为。对于超参数调优，通过探索HestGNN中的层数和嵌入大小进行启发式搜索。

评价标准

为了验证推荐模型的性能，使用以下两个广泛使用的评估指标：Recall@N和MAP@N，其中N是排名列表中poi的数量。为了更全面地比较结果，报告= 5、10、20和50的结果。

实验结果

在表3中给出了三个数据集的top-N推荐结果。根据实验结果，可以观察到：

1. HestGCL在三个数据集上的所有指标都优于所有基线方法。更具体地说，在Foursquare、Gowalla和美团的数据集上，它比Recall@50上最强的基线分别提高了8.83%、14.61%和6.86%。这证明了模型的有效性。
2. 对于Foursquare和Gowalla数据集，基于gnn的方法往往比NeuMF更有效。这表明基于gnn的方法可以传播高阶信息，从而学习更好的节点表示。对于美团数据集，NeuMF也可以达到与基于gnn的基线相似的性能。这可能是因为美团数据集是最不稀疏的，并且poi的数量要少得多，这使得不太需要为gnn聚合高阶信息。
3. 与传统GNN模型（如LightGCN、NGCF）相比，一般自监督GNN模型（如SGL、NCL）在某些情况下可以增强模型，但不稳定。例如，在美团数据集上，SGL （Recall@5 = 0.3373）的Recall得分低于LightGCN （Recall@5 = 0.3456）。然而，模型可以取得更好的结果，可能是因为它是明确为时空数据设计的，因此提供了更有效的自监督信号。

6. 结论

本文提出了一种新的POI推荐模型HestGCL，它超越了现有方法的局限性，探索了一种基于对比学习的新策略。构建了一个异构时空图，并设计了一个跨视图异构时空图对比学习框架来捕获异构信息。本文提出的异构时空图神经网络可以从空间和时间两个角度进行信息聚合，对比学习模块可以提取视图之间共享的信息，从而缓解数据稀疏性问题。在三个基准数据集上的实验结果表明，HestGCL模型优于所有基线模型。

参考文献

[1] Jiawei Liu, Haihan Gao, Cheng Yang, Chuan Shi*, Tianchi Yang, Hongtao Cheng,
Qianlong Xie, Xingxing Wang, and Dong Wang. Heterogeneous Spatio-Temporal Graph Contrastive Learning for Point-of-Interest Recommendation. TSINGHUA SCIENCE AND TECHNOLOGY ISSN 1007-0214 14/31 pp186−197