Elasticsearch为索引设置自动时间戳，ES自动时间戳

在使用 Elasticsearch 进行数据存储和检索时，时间戳字段是一个非常重要的组成部分。它可以帮助我们追踪数据的创建或更新时间，便于后续的查询、分析和监控。Elasticsearch 提供了多种方式来自动为文档添加时间戳字段。本文将介绍如何为索引设置自动的时间戳字段，并探讨相关的配置选项。

0、思路

设置自动时间戳字段，可以考虑 ES 的预处理功能，即 _ingest 的 pipline，在数据写入之前生成时间戳，写入到指定字段。

注意：

使用 pipeline 功能需要集群中有 ingest 的节点
即：node.roles: ingest

下面将介绍操作步骤

1、配置 ingest pipeline

Elasticsearch 的 ingest pipeline 功能允许你在数据索引之前对其进行处理。可以使用 set 处理器来添加时间戳字段。

以下涉及两个 processor，分别是 set processor和 date processor

首先，创建一个 ingest pipeline：

PUT _ingest/pipeline/pip_timestamp
{"processors": [{"set": {"field": "@timestamp","value": "{{_ingest.timestamp}}","override": true}},{"date": {"field": "@timestamp","formats": ["yyyy-MM-dd HH:mm:ss","ISO8601"],"target_field": "@timestamp","output_format": "yyyy-MM-dd HH:mm:ss","timezone": "Asia/Shanghai"}}]
}

上述代码创建了一个名为 pip_timestamp 的管道，可以在索引模板，或者索引中声明使用。

2、在索引映射中启用_source字段的时间戳

Elasticsearch 允许在索引映射中启用时间戳功能。可以在创建索引时，通过定义映射来启用自动时间戳字段。

PUT /my_index
{"settings": {"index":{"default_pipeline":"pip_timestamp"}}, "mappings": {"properties": {"@timestamp": {"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"},"message": {"type": "text"}}}
}

在这个例子中，我们定义了一个@timestamp字段，类型为 date。当你向该索引插入文档时，Elasticsearch会自动为每个文档生成一个@timestamp字段。

3、使用 index template 全局设置时间戳

当然，你也可以在 Index_template 中定义声明，关于 pipline 的用法此处不再赘述。

如果你希望为多个索引自动添加时间戳字段，可以使用 index template。通过定义一个索引模板，你可以确保所有匹配该模板的索引都自动启用时间戳功能。

PUT _index_template/my_template
{"index_patterns": ["my_index*"],"template": {"mappings": {"properties": {"@timestamp": {"type": "date"}}},"settings": {"index.default_pipeline": "pip_timestamp"}}
}

在这个例子中，我们创建了一个名为 my_template 的索引模板，匹配所有以my_index 开头的索引。模板中指定了默认的 ingest pipeline 为pip_timestamp，并定义了@timestamp 字段的映射。

4、写入测试数据

然后，在索引文档时指定该pipeline：

POST my_index/_doc
{"message":"test_content"
}

在这个例子中，{{_ingest.timestamp}} 是一个动态变量，表示当前时间。Elasticsearch 会在索引文档时自动将当前时间戳添加到 @timestamp 字段。

POST /my_index/_doc?pipeline=pip_timestamp
{"message": "This is a test message"
}

5、验证结果

执行查询

GET my_index/_search

结果如下：

6、总结

Elasticsearch提供了多种方式来自动为索引添加时间戳字段。你可以通过索引映射、ingest pipeline、index template等方式来实现这一功能。根据你的具体需求，选择合适的方法来确保时间戳字段的准确性和一致性。

通过合理配置时间戳字段，你可以更好地管理和分析数据，提升系统的可观测性和运维效率。希望本文对你理解和使用Elasticsearch的时间戳功能有所帮助！