主题模型实践

目录

一.TF-IDF

二.LSI

三.相似度

四.主题和主题分布

五. LDA计算的相似度

六.LDA过程

七.主题

八.主题和主题分布

九.数据处理流程

十.常用正则表达式 

十一.代码

---

一.TF-IDF

二.LSI

 

三.相似度

 

四.主题和主题分布

  

五. LDA计算的相似度

六.LDA过程

 

七.主题

 

八.主题和主题分布

九.数据处理流程

1.获取QQ群聊天记录：txt文本格式

2.整理成“QQ号/时间/留言”的规则形式

        正则表达式

        清洗特定词：表情、@XX

        使用停止词库

        获得csv表格数据

3.合并相同QQ号的留言

        长文档利于计算每人感兴趣话题

4.LDA模型计算主题

        调参与可视化

5.计算每个QQ号及众人感兴趣话题

十.常用正则表达式 

 匹配中文字符： [\u4e00-\u9fa5]
 匹配双字节字符(包括汉字在内)：[^\x00-\xff]
 匹配空白行：\n\s*\r
 匹配HTML标记：<(\S*?)[^>]*>.*?</\1>|<.*? />
 匹配首尾空白字符：^\s*|\s*$
 匹配Email地址：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
 匹配网址URL：[a-zA-z]+://[^\s]*
 匹配帐号合法(5-16位，字母开头，允许字母数字下划线)：^[a-zA- Z][a-zA-Z0-9_]{4,15}$
 匹配国内电话号码：\d{3}-\d{8}|\d{4}-\d{7}
 匹配腾讯QQ号：[1-9][0-9]{4,}
 匹配中国邮政编码：[1-9]\d{5}(?!\d)
 匹配身份证：\d{15}|\d{18}|\d{17}[xX]
匹配ip地址：\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}

匹配特定数字：
 匹配正整数：^[1-9]\d*$
 匹配负整数：^-[1-9]\d*$
 匹配整数：^-?[1-9]\d*$
 匹配非负整数(正整数 + 0)：^[1-9]\d*|0$
 匹配非正整数(负整数 + 0)：^-[1-9]\d*|0$
 匹配正浮点数：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$
 匹配负浮点数：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$
 匹配浮点数：^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
 匹配非负浮点数(正浮点数 + 0)：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
 匹配非正浮点数(负浮点数 + 0)：^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$  匹配特定字符串：
 匹配由26个英文字母组成的字符串：^[A-Za-z]+$
 匹配由26个英文字母的大写组成的字符串：^[A-Z]+$
 匹配由26个英文字母的小写组成的字符串：^[a-z]+$
 匹配由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
 匹配由数字26个英文字母或下划线组成的字符串：^\w+$

十一.代码

if __name__ == '__main__':f = open('LDA_test.txt')stop_list = set('for a of the and to in'.split())# texts = [line.strip().split() for line in f]# print 'Before'# pprint(texts)print ('After')texts = [[word for word in line.strip().lower().split() if word not in stop_list] for line in f]print ('Text = ')pprint(texts)dictionary = corpora.Dictionary(texts)print (dictionary)V = len(dictionary)corpus = [dictionary.doc2bow(text) for text in texts]corpus_tfidf = models.TfidfModel(corpus)[corpus]# corpus_tfidf = corpusprint( 'TF-IDF:')for c in corpus_tfidf:print( c)print ('\nLSI Model:')lsi = models.LsiModel(corpus_tfidf, num_topics=2, id2word=dictionary)topic_result = [a for a in lsi[corpus_tfidf]]pprint(topic_result)print ('LSI Topics:')pprint(lsi.print_topics(num_topics=2, num_words=5))similarity = similarities.MatrixSimilarity(lsi[corpus_tfidf])   # similarities.Similarity()print ('Similarity:')pprint(list(similarity))print ('\nLDA Model:')num_topics = 2lda = models.LdaModel(corpus_tfidf, num_topics=num_topics, id2word=dictionary,alpha='auto', eta='auto', minimum_probability=0.001, passes=10)doc_topic = [doc_t for doc_t in lda[corpus_tfidf]]print ('Document-Topic:\n')pprint(doc_topic)for doc_topic in lda.get_document_topics(corpus_tfidf):print (doc_topic)for topic_id in range(num_topics):print ('Topic', topic_id)# pprint(lda.get_topic_terms(topicid=topic_id))pprint(lda.show_topic(topic_id))similarity = similarities.MatrixSimilarity(lda[corpus_tfidf])print ('Similarity:')pprint(list(similarity))hda = models.HdpModel(corpus_tfidf, id2word=dictionary)topic_result = [a for a in hda[corpus_tfidf]]print ('\n\nUSE WITH CARE--\nHDA Model:')pprint(topic_result)print ('HDA Topics:')print (hda.print_topics(num_topics=2, num_words=5))