KERL文献阅读分享：知识图谱与预训练语言模型赋能会话推荐系统

标题	期刊	年份
Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems	Journal of LaTeX Class Files	2021

📈研究背景

在数字时代，个性化推荐系统已经成为了我们生活的一部分。从电影、音乐到商品推荐，推荐系统通过分析用户的历史行为来提供个性化建议。但传统的推荐系统，比如基于协同过滤和基于内容的过滤，它们有一个很大的局限性，就是很难捕捉到用户兴趣的即时变化。这就像是你今天想看一部喜剧片，但系统却推荐了你之前看过的恐怖片一样，完全不走心！😭

为了解决这个问题，会话推荐系统（CRS）应运而生。它通过自然语言处理技术，与用户进行多轮对话，实时捕捉用户的兴趣点，从而提供更精准的推荐。就像一个懂你的朋友，能根据你的反馈及时调整推荐内容。但现有的CRS系统也有自己的问题，比如它们依赖于知识图谱来丰富对话背景，却忽略了实体内部丰富的文本信息，这就像是只看到了森林，却没看到树木一样。🌲

🛠️相关工作

在CRS领域，之前的研究主要集中在如何利用知识图谱和相关评论来补充对话中的有限背景信息。这些系统会从对话历史中提取实体，并搜索相关的候选项目。但这些方法在融合这些信息到推荐和生成过程中仍然面临挑战。而且，它们大多忽略了实体描述中的丰富信息以及实体在对话中的顺序信息，这就像是在拼图时，只关注了形状，却忽略了颜色和位置。🧩

🎯模型创新

这篇论文提出了一个全新的框架——知识增强实体表示学习框架（KERL）。这个框架就像是一个超级智能的助手，它不仅利用知识图谱来强化实体的表示，还通过预训练语言模型来编码实体的文本描述，从而更全面地理解实体的语义信息。就像给机器人安装了高清摄像头和智能大脑，让它能看得更清楚，理解得更深刻。🤖

KERL框架的核心创新点在于：

• 它直接利用预训练语言模型对实体文本描述进行编码，而不是仅仅依赖于知识图谱中的拓扑信息。这就像是给机器人增加了触觉，让它能直接感受实体的“纹理”。

• 它采用了位置编码来捕捉实体在对话中的顺序信息，这对于理解对话的上下文至关重要。这就像是给机器人安装了时间感知器，让它知道事件的先后顺序。

• 它还采用了对比学习方法，将不同视角下的用户偏好进行对齐，从而更准确地捕捉用户的兴趣。这就像是让机器人学会了从不同角度看待问题，从而做出更精准的判断。

📊方法介绍

KERL框架的结构非常清晰，主要由三个模块组成：知识图谱编码模块、推荐模块和对话生成模块。下面我用一些简单的图来说明它们的工作原理：

知识图谱编码模块

这个模块就像是一个信息加工厂，它将实体的文本描述和知识图谱中的关系结合起来，生成丰富的实体表示。具体来说，它使用预训练语言模型（如BERT）来编码实体的文本描述，然后通过图神经网络（如R-GCN）来捕捉实体之间的关系。这就像是把实体的“外貌”和“行为”结合起来，生成一个全面的画像。🖼️

推荐模块

这个模块就像是一个精准的推荐引擎，它将知识图谱编码模块生成的实体表示与对话历史结合起来，通过对比学习来对齐用户的不同偏好表示，从而生成更精准的推荐。这就像是一个懂你心思的朋友，能根据你的对话内容及时调整推荐内容。🎁

对话生成模块

这个模块就像是一个智能的对话生成器，它将知识图谱编码模块生成的实体表示和对话历史结合起来，生成自然流畅的对话。这就像是一个会讲故事的人，能根据对话内容生成有趣且相关的故事。🗣️

🧪实验

作者在两个广泛使用的数据集ReDial和INSPIRED上进行了实验，ReDial 是对话式推荐最常用的数据集。此数据集是使用 Amazon Mechanical Turk （AMT） 构建的，其中成对的工作人员按照全面的说明充当电影搜索者和推荐者。INSPIRED 是另一个用于电影的 CRS 数据集，也是使用 AMT 构建的。它具有基于社会科学理论的注释推荐策略。