【Elasticsearch】Mapping概述

以下是Elasticsearch中提到的关于Mapping的各模块概述：

 

---

1.Dynamic mapping（动态映射）

动态映射是指Elasticsearch在索引文档时，自动检测字段类型并创建字段映射的过程。当你首次索引一个文档时，Elasticsearch会根据字段的值类型（如字符串、数字、日期等）自动推断字段的映射类型。例如：

• 字符串字段会被自动映射为`text`或`keyword`类型。

• 数字字段会被映射为`integer`、`long`等类型。

• 日期字段会被映射为`date`类型。

动态映射的优点是方便快捷，但缺点是可能导致意外的字段类型推断，因此在生产环境中通常建议显式定义映射。

---

2.Explicit mapping（显式映射）

显式映射是指在索引创建时，手动定义字段的映射类型和参数。通过显式映射，你可以精确控制字段的存储方式、分析器、是否可搜索等属性。例如：

```json

PUT /my_index

{

  "mappings": {

    "properties": {

      "name": { "type": "text" },

      "age": { "type": "integer" },

      "created_at": { "type": "date" }

    }

  }

}

```

显式映射适用于需要对字段进行精细控制的场景，例如自定义分词器、设置字段是否存储等。

---

3.Runtime fields（运行时字段）

运行时字段是一种在查询时动态计算的字段，而不是在索引时存储的字段。运行时字段可以基于已有的字段进行计算或转换，例如：

• 将字符串字段转换为日期格式。

• 根据多个字段的值计算一个新字段。

运行时字段的优点是灵活性高，但可能会对查询性能产生一定影响，因为每次查询都需要动态计算字段值。

---

4.Field data types（字段数据类型）

字段数据类型定义了字段可以存储的数据格式和行为。Elasticsearch支持多种数据类型，包括：

• 核心数据类型：如`text`、`keyword`、`integer`、`float`、`date`等。

• 复杂数据类型：如`object`、`nested`、`geo_point`等。

• 特殊数据类型：如`ip`、`binary`、`completion`等。

选择合适的数据类型对于优化存储和查询性能至关重要。

---

5.Metadata fields（元数据字段）

元数据字段是Elasticsearch自动为每个文档添加的特殊字段，用于存储文档的元信息。常见的元数据字段包括：

• `_id`：文档的唯一标识符。

• `_index`：文档所属的索引名称。

• `_type`：文档的类型（在7.x及以后版本中已被废弃）。

• `_source`：存储原始JSON文档。

• `_timestamp`：文档的创建时间戳。

这些字段通常用于管理和查询文档的元信息。

---

6.Mapping parameters（映射参数）

映射参数是用于定义字段行为的额外配置。常见的映射参数包括：

• `index`：指定字段是否可搜索。

• `store`：指定字段是否存储在索引中。

• `analyzer`：指定字段使用的分词器。

• `norms`：是否启用字段的规范化。

• `copy_to`：将字段的值复制到另一个字段。

通过这些参数，可以对字段的行为进行更细致的控制。

---

7.Mapping limit settings（映射限制设置）

映射限制设置用于控制索引的映射复杂度，以防止索引过大或过于复杂。常见的限制设置包括：

• `index.mapping.nested_fields.limit`：限制嵌套字段的数量。

• `index.mapping.nested_objects.limit`：限制嵌套对象的深度。

• `index.mapping.total_fields.limit`：限制索引中字段的总数。

• `index.mapping.depth.limit`：限制字段嵌套的深度。

这些设置有助于优化索引性能和资源使用。

---

8.Removal of mapping types（移除映射类型）

在Elasticsearch 7.x及以后版本中，`_type`字段已被废弃并移除。在早期版本中，`_type`用于区分同一索引中的不同文档类型，但在新版本中，Elasticsearch建议使用单独的索引来代替类型的概念。移除`_type`的主要原因是简化索引结构，减少复杂性，并提高性能。

Elasticsearch 的mapping（映射）是定义文档及其字段如何存储和索引的过程。它类似于传统数据库中的表结构定义，但在 Elasticsearch 中，映射更加灵活且具有动态性。以下是关于 Elasticsearch 映射的详细说明，包括其核心概念、主要功能以及如何使用它来优化数据存储和查询性能。

---

1.映射的作用
在 Elasticsearch 中，映射定义了以下几个关键内容：

• 字段的存储方式：字段的数据类型（如`text`、`keyword`、`integer`、`date`等）。

• 字段的索引方式：字段是否可搜索、是否存储原始值、是否进行分词等。

• 元数据字段：如`_source`、`_id`、`_index`等，用于管理文档的元信息。

• 字段的额外配置：如是否启用规范化（`norms`）、是否支持多字段（`multi-fields`）等。

---

2.映射的类型
Elasticsearch 提供了多种映射方式，以满足不同的需求。

2.1 动态映射（Dynamic Mapping）
动态映射允许 Elasticsearch 自动检测字段的数据类型并创建映射。当你首次索引一个文档时，Elasticsearch 会根据字段的值类型自动推断字段的映射类型。例如：

• 字符串字段会被自动映射为`text`或`keyword`。

• 数字字段会被映射为`integer`或`long`。

• 日期字段会被映射为`date`。

优点：

• 方便快捷，适合快速开发和原型设计。

• 自动适应新字段，无需手动定义。

缺点：

• 可能导致意外的字段类型推断。

• 不适合对性能和存储有严格要求的场景。

动态模板（Dynamic Templates）：
你可以通过动态模板定义自定义映射规则，基于字段名称或数据类型匹配条件来应用特定的映射。例如：

```json
PUT /my_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": { "type": "keyword" }
        }
      }
    ]
  }
}
```

在上述例子中，所有字符串字段都会被自动映射为`keyword`类型。

---

2.2 显式映射（Explicit Mapping）
显式映射允许你在索引创建时手动定义字段的映射类型和参数。这种方式提供了更高的灵活性和控制力。例如：

```json
PUT /my_index
{
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "age": { "type": "integer" },
      "created_at": { "type": "date" },
      "location": { "type": "geo_point" }
    }
  }
}
```

优点：

• 精确控制字段的存储和索引方式。

• 避免动态映射可能导致的类型推断错误。

• 适合生产环境和对性能要求较高的场景。

缺点：

• 需要提前定义字段，不够灵活。

---

2.3 运行时字段（Runtime Fields）
运行时字段是一种在查询时动态计算的字段，而不是在索引时存储的字段。它们可以基于已有的字段进行计算或转换。例如：

```json
PUT /my_index/_mapping
{
  "runtime": {
    "day_of_week": {
      "type": "keyword",
      "script": "emit(doc['created_at'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ROOT))"
    }
  }
}
```

在上述例子中，`day_of_week`字段会在查询时动态计算文档的`created_at`字段对应的星期几。

优点：

• 灵活性高，无需重新索引即可添加新字段。

• 可以基于已有字段进行复杂计算。

缺点：

• 查询性能可能受到影响，因为每次查询都需要动态计算字段值。

---

3.映射的组件
Elasticsearch 的映射由以下几个关键组件组成：

3.1 字段（Fields）
字段是文档的基本单元，每个字段都有自己的数据类型。Elasticsearch 支持多种数据类型，包括：

• 核心数据类型：`text`、`keyword`、`integer`、`float`、`date`、`boolean`等。

• 复杂数据类型：`object`、`nested`、`array`等。

• 特殊数据类型：`geo_point`、`geo_shape`、`ip`、`completion`等。

3.2 元数据字段（Metadata Fields）
元数据字段是 Elasticsearch 自动为每个文档添加的特殊字段，用于存储文档的元信息。常见的元数据字段包括：

• `_id`：文档的唯一标识符。

• `_index`：文档所属的索引名称。

• `_source`：存储原始 JSON 文档。

• `_timestamp`：文档的创建时间戳。

3.3 映射参数（Mapping Parameters）
映射参数是用于定义字段行为的额外配置。常见的映射参数包括：

• `index`：指定字段是否可搜索。

• `store`：指定字段是否存储在索引中。

• `analyzer`：指定字段使用的分词器。

• `norms`：是否启用字段的规范化。

• `copy_to`：将字段的值复制到另一个字段。

3.4 多字段（Multi-Fields）
多字段允许你将同一个字段以不同的方式索引。例如，你可以将一个字符串字段同时索引为`text`和`keyword`，以满足全文搜索和排序/聚合的需求。例如：

```json
PUT /my_index
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "fields": {
          "keyword": { "type": "keyword" }
        }
      }
    }
  }
}
```

在上述例子中，`name`字段被索引为`text`类型，同时通过`fields`添加了一个`keyword`多字段。

---

4.映射的管理
Elasticsearch 提供了多种工具和 API 来管理映射。

4.1 创建索引和映射
在创建索引时，可以显式定义映射：

```json
PUT /my_index
{
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "age": { "type": "integer" }
    }
  }
}
```

4.2 更新映射
使用Update Mapping API可以更新现有的映射。例如，添加新字段：

```json
PUT /my_index/_mapping
{
  "properties": {
    "email": { "type": "keyword" }
  }
}
```

4.3 获取映射
使用Get Mapping API可以查看索引的映射定义：

```json
GET /my_index/_mapping
```

---

5.防止映射爆炸
在 Elasticsearch 中，定义过多字段可能导致映射爆炸（Mapping Explosion），这可能会导致内存不足错误，并且很难恢复。为了避免这种情况，可以使用以下策略：

• 限制字段数量：通过设置`index.mapping.total_fields.limit`参数限制索引中字段的总数。

• 限制嵌套深度：通过设置`index.mapping.depth.limit`参数限制字段嵌套的深度。

• 谨慎使用动态映射：避免每条新文档都引入新字段，尽量在索引创建时显式定义字段。

---

6.移除映射类型（Removal of Mapping Types）
在 Elasticsearch 7.x 及更高版本中，`_type`字段已被废弃并移除。在早期版本中，`_type`用于区分同一索引中的不同文档类型，但在新版本中，Elasticsearch 建议使用单独的索引来代替类型的概念。移除`_type`的主要原因是简化索引结构，减少复杂性，并提高性能。

---

7.映射的优化建议
为了优化 Elasticsearch 的映射，可以遵循以下最佳实践：

• 显式定义字段：尽量使用显式映射，避免动态映射可能导致的类型推断错误。

• 使用多字段：根据需求将字段索引为多种类型，以满足不同的查询需求。

• 限制字段数量：避免过多字段导致映射爆炸。

• 选择合适的数据类型：例如，使用`keyword`而非`text`进行排序或聚合。

• 使用运行时字段：在不重新索引的情况下进行模式更改。

---

总结
Elasticsearch 的映射是定义文档结构和字段行为的核心机制。通过动态映射、显式映射和运行时字段，你可以灵活地管理数据的存储和索引方式。合理设计映射

---

如果你对某个模块有更深入的问题，欢迎继续提问！