【DKN: Deep Knowledge-Aware Network for News Recommendation】

DKN: Deep Knowledge-Aware Network for News Recommendation

摘要

在线新闻推荐系统旨在解决新闻信息爆炸的问题，为用户进行个性化推荐。 总体而言，新闻语言高度凝练，充满知识实体和常识。 然而，现有的方法并没有意识到这些外部知识，也无法充分发现新闻之间潜在的知识层面的联系。 因此，向用户推荐的结果仅限于简单的模式，并且不能合理扩展。 为了解决上述问题，在本文中，我们提出了一种将知识图表示纳入新闻推荐的深度知识感知网络（DKN）。 DKN 是一个基于内容的深度推荐框架，用于预测点击率。 DKN 的关键组件是一个多通道、词实体对齐的知识感知卷积神经网络（KCNN），它融合了新闻的语义层和知识层表示。 KCNN 将单词和实体视为多个通道，并在卷积过程中明确保持它们的对齐关系。 此外，为了满足用户的多样化兴趣，我们还在 DKN 中设计了一个注意力模块，以动态聚合用户关于当前候选新闻的历史记录。

intrudction

一般来说，新闻推荐是相当困难的，因为它面临三大挑战。 首先，与电影[9]和餐馆[12]等其他项目不同，新闻文章具有高度时间敏感性，其相关性在短时间内很快就会消失（参见第5.1节）。 过时的新闻经常被较新的新闻取代，这使得协同过滤（CF）[41]等传统的基于 ID 的方法效率较低。 其次，人们在新闻阅读中具有主题敏感性，因为他们通常对多个特定新闻类别感兴趣（参见第 5.5 节）。 如何根据用户对当前候选新闻的多样化阅读历史来动态衡量用户的兴趣是新闻推荐系统的关键。 第三，新闻语言通常高度浓缩，包含大量的知识实体和常识。

为了提取新闻之间深层的逻辑联系，需要在新闻推荐中引入额外的知识图谱信息。 知识图谱是一种有向异构图，其中节点对应实体，边对应关系。

在本文中，我们提出了一种利用外部知识(知识图谱)进行新闻推荐的新颖框架，即深度知识感知网络（DKN）。 DKN 是一种基于内容的点击率 (CTR) 预测模型，以一条候选新闻和一个用户的点击历史作为输入，输出用户点击该新闻的概率。 具体来说，对于一条输入新闻，我们首先通过将新闻内容中的每个单词与知识图中的相关实体相关联来丰富其信息。 我们还搜索并使用每个实体的上下文实体集（即知识图中的直接邻居）来提供更多补充和可区分的信息。 然后，我们设计了 DKN 中的一个关键组件，即知识感知卷积神经网络（KCNN），以融合新闻的词级和知识级表示并生成知识感知嵌入向量。 与现有的工作[46]不同，KCNN 是：1）多通道，因为它将新闻的词嵌入、实体嵌入和上下文实体嵌入视为多个堆叠通道，就像彩色图像一样； 2）单词实体对齐，因为它在多个通道中对齐单词及其关联实体，并应用变换函数来消除单词嵌入和实体嵌入空间的异质性。

使用 KCNN，我们获得每条新闻的知识感知表示向量。 为了获得用户对当前候选新闻的动态表示，我们使用注意力模块自动将候选新闻与每条点击的新闻进行匹配，并以不同的权重聚合用户的历史记录。 用户的嵌入和候选新闻的嵌入最终由深度神经网络（DNN）进行处理以进行点击率预测。

2 PRELIMINARIES

3 PROBLEM FORMULATION

4 DEEP KNOWLEDGE-AWARE NETWORK

4.1 DKN Framework

4.2 Knowledge Distillation

它由四个步骤组成。 首先，为了区分新闻内容中的知识实体，我们利用实体链接技术[31, 36]通过将文本中的提及与知识图中的预定义实体相关联来消除文本中的歧义。 基于这些识别出的实体，我们构建一个子图，并从原始知识图谱中提取它们之间的所有关系链接。 请注意，所识别的实体之间的关系可能是稀疏的并且缺乏多样性。 因此，我们将知识子图扩展到已识别实体的一跳内的所有实体。

4.3 Knowledge-aware CNN

因此引入了KCNN框架

在KCNN（知识卷积神经网络）架构中，三个嵌入矩阵分别表示标题中的词嵌入、标题对应的实体嵌入和实体的上下文嵌入。具体获取方法如下

4.4 Attention-based User Interest Extraction

由于用户对新闻主题的兴趣可能是多样的，所以不能用上述将用户点击过的新闻标题嵌入简单相加求平均。作者引入了注意力机制