ES跟Kafka集成

配合流程

1. Kafka作为分布式流处理平台，能够实时收集和处理不同数据源的数据流；

2. 通过Kafka Connect或者Logstash等中间件，可以将Kafka中的数据流实时推送到Elasticsearch中；

3. Elasticsearch接收到数据后，会根据定义的索引和文档结构进行存储和管理。

Logstash配置

 配置Logstash Kafka input插件
创建kafka_test_pipeline.conf文件内容如下：input{kafka{bootstrap_servers=>"192.168.13.10:9092"topics=>["kafka_es_test"]group_id=>"logstash_kafka_test"}
}
output{elasticsearch{hosts=>["192.168.0.8:9200"]}
}

应用场景

1. 实时数据分析：如金融交易，电商分析等；

2. 实时监控；

3. 实时搜索：对于需要快速响应搜索请求的场景非常实用。