自然语言处理笔记

情感词典

英文的情感词典有：LIWC, SentiWordNet等
中文的情感词典有：NTUSD, 正文褒贬词典TSING, 知网HowNet等

中文分词

中文分词的工具有：jieba(核心算法是张华平的Nshort算法)， SnowNLP， NLPIR汉语分词系统， THULAC, PkuSeg， LTP等

Pkuseg技术能对多个领域进行分词，并可以针对不同的领域数据进行个性化的预训练。

LTP提供了动态链接库的接口，拥有可视化功能，还能以网络服务的形式进行使用。

Jieba分词则由三种分切方式，是目前比较接受人欢迎的中文分词工具。

单词向量化技术

Word2vec

Word2vec存在两种最基本的模型：连续词袋模型（CBOW）和跳字模型(Skip-gram)

GloVe

GloVe 指用词表示的全局变量(global vectors for word representation)一个基于全局词频统让的词表征工具。GloVe 是一个新的全局对数双线性回归模型，用于无监督学习的单词表示，它优于其他模型在单词类比、单词相似性以及命名实体识别任务。与Word2vec 可以进行在线学习，GloVe 则需要统计固定语料信息;Word2vec 损失函数实质上是带权重的交叉熵，权重固定，GloVe的损失函数是最小平方损失函数，权重可以做映射变换;GloVe 利用了全局信息，使其在训练时收敛更快，训练周期较Word2vec 较短且效果更好。

fastText

fastText词向量算法将词表征为向量形式并计算词与词之间相似度作为权重引入图模型。

与GloVe词向量算法相比，fastText与Word2vec两种词向量算法的损失计算采用固定权重的交叉熵损失函数，并且特征提取均是基于滑动窗口的。

关键词提取算法

TF-IDF, TextRank.

TextRank算法虽然借鉴了PageRank以节点权重排序的思想，但二者相比存在不同之处，TextRank认为在文本中词与词之间的关联无权重，并且每个词并非和文本中所有其他的词都存在所谓的链接。TextRank关键词提取算法的优点是它可以不依赖于大规模的比较数据，也不需要进行任何预先的训练和计算。但TextRank算法在进行关键词提取时，由于窗口的限制，只能考虑到局部词之间的连接关系，缺少从全局角度利用词之间的依存特征。