深度学习：自然语言处理的基本原理

概念：

        自然语言处理（Natural Language Processing，简称NLP）是人工智能和语言学领域的一个分支，它致力于研究如何让计算机能够理解、解释和生成人类语言，以及如何实现人与计算机之间的有效通信。自然语言处理的目的是缩小人类语言和计算机之间的差距。

语言转换方法：统计语言模型，神经语言模型

统计语言模型的问题：

1、参数空间爆炸式增长，无法处理（N>3）的数据（只能最高处理两个数据）

2、无法处理词与词的内在联系

神经语言模型：词嵌入embedding

在处理自然语言时，通常将词语或者字做向量化

如何解决唯独灾难问题：

通过神经网络训练，将每个词都映射到一个较短的词向量上来。

例如：                    转换短的词向量

0 0 0 0 0 0 1         0.62 0.23 0.12  0

0 0 0 0 0 1 0         0.22 0.43 1       0

0 0 0 0 1 0 0         0.11 0.25 0.02  0

0 0 0 1 0 0 0          0.65 0.28 0.12 0

这种将高维度的词表示转换为低维度的词表示的方法，我们称之为词嵌入。

word2vec

        一种用于生成词嵌入（word embeddings）的模型，它能够将词汇映射到高维空间中的向量，这些向量能够捕捉词汇之间的语义关系。

1、CBOW:以上下文词汇预测当前词，即用ωt−2、ωt−1、 ωt+1、 ωt+2预测ωt

2、skipgram:以当前词预测其上下文词汇，即用ωt预测ωt−2、ωt−1、 ωt+1、 ωt+2

模型的训练过程：

1、当前词的上下文词语的one-hot编码输入到输入层。

2、这些词分别乘以同一个矩阵ωV*N后分别得到各自的1*N 向量。

3、将多个这些1*N 向量取平均为一个1*N 向量。

4、将这个1*N 向量乘矩阵 ω’N*V ,变成一个1*V 向量。

5、将1*V 向量softmax归一化后输出取每个词的概率向量1*V

6、将概率值最大的数对应的词作为预测词。

7、将预测的结果1*V 向量和真实标签1*V 向量（真实标签中的V个值中有一个是1，其他是0）计算误差

8、在每次前向传播之后反向传播误差，不断调整 ωV*N和ω’N*V矩阵的值。