【Kafka】1.Kafka简介及安装

1. Kafka的简介

Kafka 是一个分布式、支持分区（partition）、多副本（replica）、基于 zookeeper 协调的消息中间件，最大的特点是可以实时地处理大量数据以满足各种需求场景。例如：基于 Hadoop 的批处理系统、低延迟的实时系统、访问日志、消息服务等。它最初是由 Linkedin 公司用 scala 语言开发出来的，并在 2010 年贡献给了 Apache 基金会，成为 Apache 的顶级开源项目，后面引入了 java 语言的开发。

1.1 使用场景

• 日志收集：可以用 Kafka 将各种服务的 log 进行收集，然后通过 Kafka 以统一接口服务的方式开放给各种消费者，如 Hadoop、Solr等。
• 消息系统：解耦生产者和消费者、缓存消息
• 用户活动跟踪：Kafka 常被用来记录 web 用户或者 app 用户的各种活动，如浏览网页、搜索、点击等活动，这些活动被各个服务生产者发布到 Kafka 的 topic 中，订阅者通过订阅这些 topic 来做实时的监控分析，或者其它处理。
• 运营指标：Kafka 也常用来记录运营监控数据，包括收集各种分布式应用的数据，生产各种操作的集中反馈，如报警和报告。

1.2 基本概念

如下表所示，是 Kafka 的一些基本概念。

名称	释义
Broker	消息中间件处理节点，一个 Kafka 节点就是一个 Broker ，一个或者多个 Broker 可以组成一个 Kafka 集群，通俗点理解就是一个 Broker 就是一个 Kafka 服务端，多个 Kafka 服务端组成集群
Topic	Kafka 根据 topic 对消息进行归类，发布到 Kafka 集群的每条消息都需要指定一个 topic
Producer	消息生产者，向 Broker 发送消息的客户端
Consumer	消息消费者，从 Broker 读取消息的客户端
ConsumerGroup	每个 Consumer 属于一个特定的 Consumer Group，一条消息可以被多个不同的 Consumer Group 消费，但是一个 Consumer Group 中只能有一个 Consumer 能够消费该消息
Partition	物理上的概念，一个 topic 可以分为多个 partition ，每个 partition 内部消息是有序的

2. Kafka的安装

Kafka 依赖于 zookeeper 和 JDK，所以在安装 Kafka 之前，需要先安装 JDK。我的电脑以前就安装了 JDK1.8 ，所以不用再装；至于 zookeeper ，其实 Kafka 的安装包中，已经引入了 zookeeper 的 jar 包，所以它也不需要我再去单独装，因而我直接安装 Kafka 即可。

2.1 下载Kafka的压缩包

下载地址是：https://kafka.apache.org/downloads

我这里选择 Binary downloads 的下载方式，版本就来个 Scala 2.11 - kafka_2.11-2.2.1.tgz (asc, sha512) 的，如下图所示。

2.2 解压Kafka的压缩包

将下载下来的压缩包，解压到 D:\Kafka，关于 Kafka 的安装就结束了，接下来就是改配置信息。

1、修改 server.properties 配置文件

找到 D:\Kafka\kafka_2.11-2.2.1\config\server.properties 文件，修改里面的配置。

将 log.dir 的路径改为自己定义好的，保存并退出。

#kafka的消息存储文件，自己定义好就行
log.dir=D:/Kafka/kafka_2.11-2.2.1/kafka-logs

2、修改 zookeeper.properties 配置文件

找到 D:\Kafka\kafka_2.11-2.2.1\config\zookeeper.properties 文件，同样修改里面的配置。

将 dataDir 的值改为 D:/Kafka/kafka_2.11-2.2.1/zookeeper，如下所示，保存并退出。

dataDir=D:/Kafka/kafka_2.11-2.2.1/zookeeper

2.3 启动Kafka服务

1、启动 zookeeper 服务

由于 Kafka 依赖于 zookeeper ，所以要想启动 Kafka 的服务端，必须先启动 zookeeper 的服务。

打开 D:\Kafka\kafka_2.11-2.2.1 文件夹，在文件夹地址栏 输入 CMD，回车打开控制台，然后输入下面的命令，启动 zookeeper 服务。

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

出现下图所示的结果，说明启动成功。

2、 启动 Kafka 服务

继续在 D:\Kafka\kafka_2.11-2.2.1 文件夹的地址栏 输入 CMD，回车再打开一个控制台，然后输入下面的命令，启动 Kafka 服务端。

.\bin\windows\kafka-server-start.bat .\config\server.properties

出现下图所示的结果，说明启动成功。