Elasticsearch：什么是向量和向量存储数据库，我们为什么关心？

Elasticsearch 从 7.3 版本开始支持向量搜索。从 8.0 开始支持带有 HNSW 的 ANN 向量搜索。目前 Elasticsearch 已经是全球下载量最多的向量数据库。它允许使用密集向量和向量比较来搜索文档。 矢量搜索在人工智能和机器学习领域有许多重要的应用。 有效存储和检索向量的数据库对于构建生产就绪的 AI/ML 服务至关重要。更多关于 Elastic 向量搜索的信息，可以在地址 What is vector search? Better search with ML | Elastic 找到更多的信息。

向量到底是什么？

简而言之，向量是数据的数值表示。 所有数据（表格、文本、图像、视频、声音等）都可以表示为多维数字数组。

作为向量的表格数据

将数据转换为机器学习算法易于使用的形式是在 ML 管道的数据预处理阶段完成的。 这是管道的早期阶段之一。

表格数据（例如 SQL 数据库中的表）每行包含一个观察值。

表示为向量的表格数据

每列中的数据可大致分为四种类型之一。

• Nominal：名义数据是指没有任何顺序或定量值的值。 性别就是此类数据的一个例子。
• Ordinal：序数数据具有自然排序，其中数字按其在刻度上的位置按某种顺序出现，但我们无法对它们执行任何算术任务。 日期字段是序数数据的示例。
• Discrete：离散数据包含属于整数或整数的值。 班级中的学生总数是离散数据的一个示例。 这些数据不能分解为小数或分数。
• Continuous：连续数据采用小数形式。 例如，班级学生的身高就是连续数据的一个例子。

机器学习算法不擅长处理名义数据或有序数据。 因此，在将表格数据输入机器学习算法之前，我们通常需要将这些字段转换为数字。 编码是机器学习中将非数字字段转换为数字字段的过程。 对名义字段和序数字段进行编码后，你获得向量数据集。

图像作为矢量

图像可以表示为 3 维数字矩阵（技术上是 Rank-3 Tensor，但现在让我们忽略细节）。 两个维度代表像素的坐标，第三个维度包含三个颜色通道。 矩阵中的数字范围为 0 到 255，代表像素的三基色（红、绿、蓝）的值。 因此，4 x 4 像素的彩色图像可以表示为如下所示的矩阵。

有关如何把图像转换为向量，请参考文章：

• Elasticsearch：如何在 Elastic 中实现图片相似度搜索

• Elasticsearch：使用向量搜索来搜索图片及文字

文本作为矢量

文本信息可以转换为一个长的数字向量，其中向量中的位置代表单词，值代表该单词在文本中出现的次数。 这称为文本数据的词袋（bag of words）表示。

These are not the droid you are looking for. No, I am your father.

these:1, are: 2, not: 1, the: 1, droid: 1, you: 1, look: 1, for: 1

no: 1, i: 1, am:1, you: 1, father: 1

文本信息可以转换为一个长的数字向量，其中向量中的位置代表单词，值代表该单词在文本中出现的次数。 这称为文本数据的词袋（bag of words）表示。这种早期形式的矢量化文本会产生稀疏向量（带有太多零的向量）。现在存在更复杂的方法（词嵌入）将文本转换为向量。 这些方法可以生成紧凑、密集的向量，这些向量具有更小的存储大小，并且还以这样的方式对文本的含义进行编码：向量空间中更接近的文本预计在含义上相似。

为什么我们将数据表示为向量？

数据点（data points）在机器学习中被表示为向量，因为它们可以有效地编码和操作信息。 向量提供了一种简洁且结构化的格式来组织数据点，其中每个向量元素对应于特定的特征或属性。 当数据点表示为向量时，机器学习算法可以轻松执行加法、减法和点积等数学运算。 这有利于训练和推理过程中涉及的各种计算，例如计算数据点之间的相似性、估计距离和优化模型。 此外，向量可以使用线性代数和矩阵运算，这构成了许多机器学习技术的基础。 通过利用向量的力量，机器学习算法可以有效地分析复杂的数据集并从中学习，最终获得准确的预测和有价值的见解。

现在我们已经将数据表示为向量，接下来会发生什么？

一旦数据以向量形式表示，通常会被输入到预先训练的机器学习模型中，该模型将这些向量映射到新的向量空间，以便相似对象（文本、图像或数据点）的向量在向量中显得彼此接近。新的向量空间。 这个过程称为嵌入，你猜对了，生成的一组新向量也称为嵌入。

生成向量嵌入的 ML 管道

一旦我们有了一组新的向量（每个向量代表我们的一个数据点），其中与相似数据对应的向量彼此接近，就会发生令人惊奇的事情。

当数据被表示为基于某种相似性概念彼此靠近排列的向量时，查找与给定项目相似的项目就简化为查找与原始项目向量接近的所有项目向量。

那么有什么大不了的呢？

随着向量搜索的发布，你现在可以使用简单的运算符 HNSW 对存储在 Elasticsearch 中的向量执行相似性搜索，而无需设置完全不同的并行基础设施来执行向量搜索。

应用团队立即开始看到以下好处：

• 简化的应用程序架构和设计
• 更快的应用程序发布周期
• 降低基础设施成本
• 降低维护费用
• 更快实现价值

能够使用最新的人工智能技术（例如 LLMs 和生成式人工智能）快速增强用户体验的应用程序团队更有可能在竞争中领先。

更多关于如何使用 Elasticsearch 进行向量搜索的知识，请阅读 AI文章专栏。

向量搜索用例

1. 语义搜索：根据搜索查询的含义和文档内容的含义来搜索文档。 与传统的文本搜索方法相比，语义搜索是一种从数据库或搜索引擎检索信息的更先进的方法。 传统文本搜索依赖于关键字匹配和精确单词匹配，而语义搜索旨在理解用户查询和搜索内容背后的上下文、意图和含义。请参阅文章 “Elasticsearch：如何部署 NLP：文本嵌入和向量搜索”。
2. 反向图像搜索：查找 “看起来像” 给定图像的图像 - 例如 谷歌图片搜索。请参阅文章 “Elasticsearch：如何在 Elastic 中实现图片相似度搜索”。
3. 推荐引擎：根据以前的视图推荐社交媒体帖子（Instagram 中的 Think Image 推荐、Twitter 上的推文推荐、Facebook Feed 或 Youtube 中推荐的故事等）
4. 抄袭检测：根据文档与数据库中文档的匹配程度来检测抄袭。