Elasticsearch：Golang ECS 日志记录 - zerolog

ECS 记录器是你最喜欢的日志库的格式化程序/编码器插件。它们可让你轻松地将日志格式化为与 ECS 兼容的 JSON。在本教程中，我将详述如何

编码器以 JSON 格式记录日志，并以 ECS 错误格式处理错误字段的记录。

默认情况下，会添加以下字段：

{"log.level": "info","@timestamp": "2020-09-13T10:48:03.000Z","message":" some logging info","ecs.version": "1.6.0"
}

安装

将下面的包添加到你的 go.mod 文件中：

go.mod

module zerolog-logging
require go.elastic.co/ecszerolog main

然后，我们在 terminal 中打入如下的命令：

go get go.elastic.co/ecszerolog

配置

设置默认记录器。例如：

logger := ecszerolog.New(os.Stdout)
log.Logger = logger

示例

我们使用如下的简单例子来进行测试：

zerolog.go

package mainimport ("os""github.com/rs/zerolog""github.com/rs/zerolog/log""go.elastic.co/ecszerolog"
)func main() {logger := ecszerolog.New(os.Stdout)log.Logger = loggerlog.Info().Msg("hello world")// Add custom fields.log.Info().Str("custom", "foo").Msg("Hello, World!")log.Info().Str("foo", "bar").Dict("dict", zerolog.Dict().Str("bar", "baz").Int("n", 1),).Msg("hello world")
}

我们可以通过如下的方式来运行代码：

go run zerolog.go

我们可以看到如下的输出：

$ go run zerolog.go
{"log.level":"info","ecs.version":"1.6.0","@timestamp":"2024-07-23T02:46:52.612Z","message":"hello world"}
{"log.level":"info","ecs.version":"1.6.0","custom":"foo","@timestamp":"2024-07-23T02:46:52.612Z","message":"Hello, World!"}
{"log.level":"info","ecs.version":"1.6.0","foo":"bar","dict":{"bar":"baz","n":1},"@timestamp":"2024-07-23T02:46:52.612Z","message":"hello world"}

上面显示了一个 JSON 的输出格式的日志。它是和 ECS 相兼容的日子输出。更多格式的输出请参阅链接。更多关 zerolog 的使用方法，请参阅文章。

我们可以使用如下的方法把日志写入到一个文件中：

zerolog_file.go

package mainimport ("os""github.com/rs/zerolog""github.com/rs/zerolog/log""go.elastic.co/ecszerolog"
)func main() {file, err := os.OpenFile("myapp.log",os.O_APPEND|os.O_CREATE|os.O_WRONLY,0664,)if err != nil {panic(err)}defer file.Close()logger := ecszerolog.New(file).With().Timestamp().Logger()log.Logger = loggerlog.Info().Msg("hello world")// Add custom fields.log.Info().Str("custom", "foo").Msg("Hello, World!")log.Info().Str("foo", "bar").Dict("dict", zerolog.Dict().Str("bar", "baz").Int("n", 1),).Msg("hello world")
}

我们可以通过如下的方法来运行上面的应用：

$ pwd
/Users/liuxg/go/go-logging
$ go run zerolog_file.go 
$ ls
go.mod          go.sum          myapp.log       zerolog         zerolog.go      zerolog_file.go
$ cat myapp.log 
{"log.level":"info","ecs.version":"1.6.0","@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"hello world"}
{"log.level":"info","ecs.version":"1.6.0","custom":"foo","@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"Hello, World!"}
{"log.level":"info","ecs.version":"1.6.0","foo":"bar","dict":{"bar":"baz","n":1},"@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"hello world"}

把日志写入到 Elasticsearch

1. 按照 Filebeat 快速入门
2. 将以下配置添加到你的 filebeat.yaml 文件中。

 Filebeat 7.16+

filebeat.yaml

filebeat.inputs:
- type: filestream  # 1paths: /path/to/logs.jsonparsers:- ndjson:overwrite_keys: true # 2add_error_key: true  # 3expand_keys: true    # 4processors: # 5- add_host_metadata: ~- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~

1. 使用 filestream 输入从活动日志文件中读取行。
2. 如果发生冲突，解码的 JSON 对象的值将覆盖 Filebeat 通常添加的字段（type、source、offset 等）。
3. 如果发生 JSON 解组错误，Filebeat 将添加 “error.message” 和 “error.type: json” 键。
4. Filebeat 将递归地从解码的 JSON 中去掉点键，并将其扩展为分层对象结构。
5. Processors 可增强你的数据。请参阅 processors 以了解更多信息。

Filebeat < 7.16

filebeat.yaml

filebeat.inputs:
- type: logpaths: /path/to/logs.jsonjson.keys_under_root: truejson.overwrite_keys: truejson.add_error_key: truejson.expand_keys: trueprocessors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~