基于卷积神经网络的Caser算法

将一段交互序列嵌入到一个以时间为纵轴的平面空间中形成“一张图”后，基于卷积序列嵌入的推荐（Caser）算法利用多个不同大小的卷积滤波器，来捕捉序列中物品间的点级（point-level）、联合的（union-level）和跳跃（skip）转移模式。

除了序列的局部特征，Caser还引入了用户全局特征，构建了一个较为统一和灵活的用于序列推荐的网络结构。

ABSTRACT

The order of interaction implies that sequential patterns play an important role where more recent items in a sequence have a larger impact on the next item.交互序列发挥重要作用，其中序列中较新的项目对下一个项目有更大影响。

The idea is to embed a sequence of recent items into an “image” in the time and latent spaces and learn sequential patterns as local features of the image using convolutional filters.将一系列最近的项目嵌入到时间和潜在空间中的“图像”中，并使用卷积滤波器学习序列模式作为图像的局部特征。

INTRODUCTION

major limitations

point-level：前面的三个蓝色块单独对黄色块产生影响。

union-level，no skip：前面的三个联合对接下来的黄色块产生影响。

union-level，skip once：前面的三个联合块可以对后面的黄色块产生影响。

contributions

(1) Caser uses horizontal and vertical convolutional filters to capture sequential patterns at point-level, union-level, and of skip behaviors. (2) Caser models both users’ general preferences and sequential patterns, and generalizes several existing state-of-the- art methods in a single unified framework. (3) Caser outperforms state-of-the-art methods for top-N sequential recommendation on real life data sets.。

(1) Caser 使用水平和垂直卷积滤波器来捕获点级、联合级和跳跃行为的顺序模式。

(2) Caser 对用户的一般偏好和顺序模式进行建模，并在一个统一的框架中概括了几种现有的最先进的方法。

(3) Caser 在现实生活数据集上的 top-N 顺序推荐方面优于最先进的方法。

FURTHER RELATED WORK

CNN学习序列特征，LFM（潜在因子模型）学习用户特定特征。

网络设计的目标是多重的：在union-level和point-level捕获用户的一般偏好和序列偏好，并捕获skip行为，所有这些都在未观察到的空间中。

训练CNN，对于每个u，从Su中提取每L个连续项目作为输入，并且提取接下来的T个项目作为目标。（通过滑动窗口来完成）每个窗口生成u的训练实例（u，previous L items，next T items）

PROPOSED METHODOLOGY

Embedding Look-up

算法定义了每个物品i对应的物品嵌入向量Qi和每个用户嵌入向量Pu。为了捕捉用户的动态偏好，当要预测用户u在时间步t上的偏好时，去用户u在第t步前交互的L个物品组成输入物品序列，并且根据定义好的物品嵌入向量，拼接得到物品序列的嵌入矩阵。

Convolutional Layers

将嵌入矩阵E看作“一张图”并对其进行卷积操作。使用纵向移动的水平滤波器来捕捉前L步物品对后续物品的综合影响（union-level）。使用横向移动的垂直滤波器来捕捉前L步物品对后续物品的点级影响（point-level）。

两个水平滤波器捕获两个union-level序列模式。滤波器为h×d矩阵。通过在E上滑动来获取序列模式的信号。

Horizontal Convolutional Layer.

假设模型中总共设置了n个水平滤波器，第k个的大小为h×d。水平滤波器从矩阵顶部重合的位置开始执行操作。（求内积融合再过激活函数）

水平滤波器从上往下滑动一个位置，直到达到矩阵底部。重复以上操作得到的值拼接成一个新的向量。

接着对每个新的向量进行最大池化，最后将n个水平滤波器得到的值拼接起来，得到包含输入序列中L个物品的不同组合的联合信息的输出向量。

通过训练滤波器来捕获具有多个联合大小的联合级模式。

Vertical Convolutional Layer.

设置多个垂直滤波器，大小都为L×1.与水平滤波器操作相似，每个垂直滤波器在嵌入矩阵上从左到右滑动得到一个d维度向量。将输出拼接到一起得到输出向量。

Fully-connected Layers

将上面两种卷积层的输出向量合并后送入第一个全连接层，得到表示序列局部特征的向量。

将表示局部特征与表示用户全局特征的用户嵌入向量拼接后送入第二个全连接层，得到该用户在下一个时间步t对所有物品的预测偏好。

NetWork Training

为了捕获序列中的物品之间的跳跃的转移关系还提出将下一个时间步t及后续若干时间步的物品都作为目标物品。

优缺点

优点：将FPMC和Fossil等基于矩阵分解的算法所建模的信息包含于其中，并且考虑了前L个物品的不同组合的作用和对后续物品的跳跃的影响。

相比于RNN、CNN不规定信息必须沿着时间节点依次连续传递，具有更大的灵活性，并且更容易实现并行化。

缺点：只能捕捉短期的（L步之内）序列特征的局限性。

Q&A

对该模型举一个例子，具体计算过程？

模型哪里有捕获skip behaviors？