【Elasticsearch】自定义内置的索引生命周期管理（ILM）策略。

以下是对 Elasticsearch 官方教程《Customize built-in ILM policies》的详细解读，结合原文内容，帮助您更好地理解如何自定义内置的索引生命周期管理（ILM）策略。

---

Elasticsearch 教程：自定义内置 ILM 策略

1.背景与目标

Elasticsearch 提供了内置的索引生命周期管理（ILM）策略，例如`logs@lifecycle`、`metrics@lifecycle`和`synthetics@lifecycle`。这些策略主要用于管理 Elastic Agent 收集的数据流（data streams）的后端索引。然而，这些默认策略可能无法完全满足您的性能、弹性和数据保留需求。因此，Elasticsearch 允许用户根据自己的需求自定义这些策略。

本教程的目标是帮助您根据以下需求自定义 ILM 策略：

• 当写入索引的主分片大小达到 50GB 或索引满 30 天时，滚动到新索引。

• 滚动后，将索引保留在热数据层 30 天。

• 滚动 30 天后，将索引移动到温数据层，设置副本分片数为 1，并强制合并索引段以释放已删除文档占用的空间。

• 滚动 90 天后删除索引。

2.前提条件

在开始自定义 ILM 策略之前，您需要准备以下环境：

2.1 Elasticsearch 集群

• 热数据层（Hot Tier）：用于存储最近的数据，提供高性能的读写操作。

• 温数据层（Warm Tier）：用于存储较旧的数据，适合读取操作，但写入性能较低。

如果使用Elasticsearch 服务：

• 默认情况下，Elastic Stack 部署包含热层。

• 要添加温层，可以通过编辑部署并点击“添加温数据层的容量”来完成。

如果使用自管集群：

• 需要为节点分配`data_hot`和`data_warm`角色。

• 例如，在温层的每个节点的`elasticsearch.yml`文件中添加以下配置：

```yaml

  node.roles: [data_warm]

  ```

2.2 Elastic Agent

• 需要一个安装并配置好的 Elastic Agent，用于将日志数据发送到 Elasticsearch 集群。

• Elastic Agent 使用数据流（data streams）存储日志监控数据，索引模式为`logs-*-*`。

3.自定义 ILM 策略

3.1 查看默认的 ILM 策略

默认的`logs@lifecycle`策略会自动管理`logs-*-*`数据流的后端索引。该策略的默认行为如下：

• 当写入索引的主分片大小达到 50GB 或索引满 30 天时，滚动到新索引。

• 该策略旨在防止创建许多微小的每日索引。

3.2 创建新的 ILM 策略

由于直接编辑管理的策略可能会被回滚或覆盖，因此建议将默认策略另存为新策略，并对其进行自定义。

1. 打开 Kibana：

• 转到堆栈管理（Stack Management）>索引生命周期策略（Index Lifecycle Policies）。

• 切换“包含管理的系统策略（Include managed system policies）”以显示默认的`logs@lifecycle`策略。

2. 另存为新策略：

• 选择`logs@lifecycle`策略。

• 在“编辑策略日志（Edit policy logs）”页面上，切换“另存为新策略（Save as new policy）”，并为新策略命名，例如`logs-custom`。

3.3 自定义策略的阶段和设置

ILM 策略包含多个阶段（Phase），每个阶段都有特定的行为和设置。我们将根据需求自定义以下阶段：

3.3.1 热阶段（Hot Phase）

• 滚动设置（Rollover Settings）：

• 默认情况下，`logs@lifecycle`策略会在索引的主分片大小达到 50GB 或索引满 30 天时滚动到新索引。

• 如果需要修改滚动条件，可以点击“高级设置（Advanced settings）”，并禁用“使用推荐默认值（Use recommended defaults）”。

• 例如，可以将滚动条件设置为“索引大小达到 40GB 或索引满 20 天”。

3.3.2 温阶段（Warm Phase）

• 激活温阶段：

• 默认情况下，`logs@lifecycle`策略可能没有启用温阶段。您需要手动启用并配置它。

• 点击“高级设置（Advanced settings）”。

• 设置“将数据移入阶段的时间（Move data into phase when）”为“30 天旧”，表示在滚动 30 天后将索引移至温层。

• 启用“设置副本（Set replicas）”，并将“副本数量（Number of replicas）”设置为 1。

• 启用“强制合并数据（Force merge data）”，并将“段数（Number of segments）”设置为 1。这有助于释放已删除文档占用的空间。

3.3.3 删除阶段（Delete Phase）

• 启用删除阶段：

• 在温阶段，点击垃圾桶图标以启用删除阶段。

• 在删除阶段，设置“将数据移入阶段的时间（Move data into phase when）”为“90 天旧”，表示在滚动 90 天后删除索引。

3. 保存新策略：

• 完成所有配置后，点击“保存为新策略（Save as new policy）”。

4.应用新的 ILM 策略

创建并配置好新的 ILM 策略后，需要将其应用于`logs`索引模板，以便 Elastic Agent 使用该策略管理日志数据。

1. 创建组件模板（Component Template）：

• 转到 Kibana 的组件模板（Component Templates）页面。

• 点击“创建组件模板（Create component template）”。

• 命名组件模板为`logs@custom`。

• 在“索引设置（Index settings）”中，指定新创建的 ILM 策略名称：

```json

     {

       "index": {

         "lifecycle": {

           "name": "logs-custom"

         }

       }

     }

     ```

• 审核并保存组件模板。

2. 更新索引模板（Index Template）：

• 转到索引模板（Index Templates）页面。

• 选择`logs`索引模板。

• 查看“组件模板（Component templates）”列表，确认`logs@custom`组件模板已被添加。

5.总结

通过以上步骤，您可以根据自己的需求自定义 Elasticsearch 的内置 ILM 策略。自定义策略允许您灵活地管理索引的生命周期，包括滚动、数据层迁移、副本设置以及索引的最终删除。这有助于优化集群的性能、资源利用率和数据保留策略。

 

 

6.注意事项

• 不要直接编辑管理的策略：直接修改默认的管理策略可能会导致策略被回滚或覆盖。建议始终通过“另存为新策略”的方式来创建自定义策略。

• 测试新策略：在生产环境中应用新策略之前，建议在测试环境中验证其行为，确保它符合您的预期。

• 监控与调整：ILM 策略的设置可能需要根据实际使用情况进行调整。建议定期监控集群的性能和资源使用情况，并根据需要优化策略。

通过本教程，您应该能够根据自己的需求自定义 Elasticsearch 的 ILM 策略，并将其应用于实际的数据管理场景中。