文本表示方法

词向量

独热编码模型和分布式表征模型

	独热编码	分布式表征
		固定长度的稠密词向量
优点	一个单词一个维度，彼此之间构成标准正交向量组	数字化后的数值可以表示语义上的关系
缺点	稀疏,	词向量维度大导致计算效率低

独热编码会根据语料库中的单词个数，来确定词向量的维度

分布式表征，预先确定词向量的维度，生成的词向量

文本表示方法

基于统计的词向量

词袋模型 Bag of words, BOW

忽略文本中词语的顺序和语法结构，将文本视为词的集合，通过词汇表中每个单词在文本中出现的次数来表示文本。

TF-IDF

单词在特定文本中的重要性得分表示为：单词在文本出现的频率和出现改单词的文本数量在语料库中的频率。

基于神经网络的词向量

Word2Vec

Word2Vec 有两种架构：CBOW(Continuous Bag of Words) 和 Skip-Gram。其中，CBOW 是根据上下文来预测中心词，而 Skip-Gram 是根据中心词来预测上下文。

例如：you say goodbye and i say hello.

如果上下文窗口为 1，对于 CBOW 来说，you say goodbye 中的目标预测词为 say，上下文为 you goodbye。

CBOW

训练过程

构建训练集和测试集。

you say goodbye and i say hello.设定上下文窗口为 1.

上下文	目标词
you goodbye	say
say and	goodbye
goodbye i	and
and say	i
i hello	say

1. 文本预处理。假设词汇表大小为 V，词向量为 d

word2vec连续词袋模型CBOW详解，使用Pytorch实现 - 知乎

Glove

基于单词的共现矩阵来学习词向量。其中，共现矩阵记录两个单词在语料库中共现的次数。

---

Transformer 相较于 RNN 的改进

1. 并行计算
2. 因为 attention 机制能一次获取全局信息，所以最长计算路径短
3. 可以捕捉长距离依赖关系