sheng的学习笔记-AI-话题模型（topic model），LDA模型，Unigram Model，pLSA Model

AI目录：sheng的学习笔记-AI目录-CSDN博客

基础知识

什么是话题模型(topic model)

话题模型(topic model)是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合）​，在信息检索、自然语言处理等领域有广泛应用。

隐狄利克雷分配模型（Latent Dirichlet Allocation,简称LDA）是话题模型的典型代表。

使用场景

Topic Model是一种自然语言处理技术，它可以从大量的文本中发现潜在的主题。这种模型的应用范围非常广泛，特别是在新闻推荐和商品分析领域。通过主题模型，可以对语料库中的每篇新闻进行主题分析，根据浏览者的已看新闻推荐同主题的新闻，或者分析商品的评论，挖掘购买者对商品不同维度的意见和评价。此外，主题模型还在社交倾听和文本挖掘方面发挥着重要作用，帮助分析大量文本数据，提取关键信息和主题，为决策提供支持。

具体来说，主题模型的应用场景包括：

1. ‌新闻推荐‌：通过对语料库中的每篇新闻进行主题分析，可以根据用户的阅读历史推荐相同或相似主题的新闻。
2. ‌商品分析‌：分析商品的评论和反馈，挖掘消费者对商品不同维度的评价和意见，帮助企业了解市场需求和改进方向。
3. ‌社交倾听‌：通过分析社交媒体上的大量文本数据，发现公众对特定话题或事件的看法和态度，为企业或个人提供市场趋势和公众情绪的洞察。
4. ‌文本挖掘‌：在大量的文档中提取有用的信息，如关键词、主题等，用于进一步的数据分析和知识发现。

综上所述，AI Topic Model通过从文本中发现潜在的主题，为新闻推荐、商品分析、社交倾听和文本挖掘等领域提供了强大的支持，帮助企业和个人更好地理解和利用大量的文本数据‌

基础概念

词(word)、文档(document)和话题(topic)。

• ​“词”是待处理数据的基本离散单元，例如在文本处理任务中，一个词就是一个英文单词或有独立意义的中文词。
• ​“文档”是待处理的数据对象，它由一组词组成，这些词在文档中是不计顺序的，例如一篇论文、一个网页都可看作一个文档；这样的表示方式称为“词袋”(bag-of-words)。数据对象只要能用词袋描述，就可使用话题模型。​
• “话题”表示一个概念，具体表示为一系列相关的词，以及它们在该概念下出现的概率。

Unigram Model

流程

文档生成算法

pLSA Model

基础知识

1）Unigram Model模型过于简单。事实上人们写一篇文章往往需要先确定要写哪几个主题。

如：写一篇计算机方面的文章，最容易想到的词汇是：内存、CPU、编程、算法等等。之所以能马上想到这些词，是因为这些词在对应的主题下出现的概率相对较高。

因此可以很自然的想到：一篇文章由多个主题构成，而每个主题大概可以用与该主题相关的频率最高的一些词来描述。

2）主题 topic：表示一个概念。具体表示为一系列相关的词，以及它们在该概念下出现的概率。

• 与某个主题相关性比较强的词，在该主题下出现概率较高
• 与某个主题相关性比较弱的词，在该主题下出现概率较低

文档生成算法

模型原理

 参数求解

pLSA 模型由两种参数求解方法：矩阵分解、EM 算法。

矩阵分解

EM 算法

 

EM算法步骤

LDA Model

基础知识

因此 LDA 模型是pLSA 模型的贝叶斯版本。 

 文档生成算法

模型原理

主题生成过程

单词生成过程

联合概率

后验概率

模型求解

LDA的求解有两种办法：变分推断法、吉布斯采样法。

吉布斯采样

模型训练

参考文章

18.主题模型 - 一、Unigram Model - 《AI算法工程师手册》 - 书栈网 · BookStack

18.主题模型 - 二、pLSA Model - 《AI算法工程师手册》 - 书栈网 · BookStack

18.主题模型 - 三、LDA Model - 《AI算法工程师手册》 - 书栈网 · BookStack

机器学习 书