Embedding

Embedding

在机器学习中，Embedding 主要是指将离散的高维数据（如文字、图片、音频）映射到低纬度的连续向量空间。这个过程会生成由实数构成的向量，用于捕捉原始数据的潜在关系和结构。

Text Embedding工作原理

词向量化：将单个词转换为数值向量。
独热编码（One-Hot Encoding）：为每个词分配一个唯一的二进制向量，其中只有一个位置是1，其余位置是0。

词嵌入（Word Embeddings）：

如Word2Vec, GloVe, FastText等，将每个词映射到一个高维实数向量，这些向量在语义上是相关的。

句子向量化：将整个句子转换为一个数值向量。
简单平均/加权平均：对句子中的词向量进行平均或根据词频进行加权平均。

递归神经网络（RNN）：通过递归地处理句子中的每个词来生成句子表示。

卷积神经网络（CNN）：使用卷积层来捕捉句子中的局部特征，然后生成句子表示。

自注意力机制（如Transformer）：如BERT模型，通过对句子中的每个词进行自注意力计算来生成句子表示。