Logstash学习

一、Logstash基础

1、什么是Logstash

logstash是一个数据抽取工具，将数据从一个地方转移到另一个地方。下载地址：https://www.elastic.co/cn/downloads/logstash

logstash之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。

Logstash配置文件有如下三部分组成，其中input、output部分是必须配置，filter部分是可选配置，filter就是过滤器插件，可以在这部分实现各种日志过滤功能。

2、配置文件格式

input {#输入插件
}
filter {#过滤匹配插件
}
output {#输出插件
}

3、启动操作

配置文件启动

logstash.bat -f ../config/test1.conf

二、Logstash输入插件（input）

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

1、标准输入(Stdin)

控制台输入，控制台输出

input{stdin{}
}
output {stdout{codec=>rubydebug    }
}

2、读取文件(File)

logstash使用一个名为filewatch的ruby gem库来监听文件变化,并通过一个叫.sincedb的数据库文件来记录被监听的日志文件的读取进度（时间戳），这个sincedb数据文件的默认路径在 logstash插件存储目录/plugins/inputs/file下面，文件名类似于.sincedb_123456

input {file {path => ["/var/*/*"]start_position => "beginning"}
}
output {stdout{codec=>rubydebug    }
}

3、读取TCP网络数据

input {tcp {port => "1234"}
}
output {stdout{codec=>rubydebug}
}

三、Logstash过滤器插件(Filter)