kafka开发环境搭建

1 安装java环境

1.1 下载linux下的安装包

（1）登录官网下载地址，找到对应压缩包。

（2）点击下载链接弹出如下窗口，勾选协议，继续点击下载链接。

（3）需要登录账户。如果已经有账户则直接登录；没有就需要注册一个账户。登录账户后就可以直接下载了。

1.2 解压缩安装包

tar -zxvf jdk-8u352-linux-x64.tar.gz 

解压后的文件夹为jdk1.8.0_351，进入文件夹和查看文件：

cd jdk1.8.0_351
ls

可以看到bin目录：

bin        	include         					jmc.txt  
legal  			LICENS							README.html  
src.zip     	THIRDPARTYLICENSEREADME.txt		COPYRIGHT  
javafx-src.zip  jre      						lib    
man      		release      					THIRDPARTYLICENSEREADME-JAVAFX.txt

1.3 解压后的文件移到/usr/lib目录下

（1）将解压后的文件移到/usr/lib目录下：

sudo mkdir /usr/lib/jdk

（2）将解压的jdk文件移动到新建的/usr/lib/jdk目录下来：

sudo mv jdk1.8.0_351 /usr/lib/jdk/

1.4 配置java环境变量

这里是将环境变量配置在etc/profile，即为所有用户配置JDK环境。

（1）使用命令打开/etc/profile文件：

sudo vim /etc/profile

（2）在末尾添加以下几行：

#set java env 
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_351 
export JRE_HOME=${JAVA_HOME}/jre     
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib     
export PATH=${JAVA_HOME}/bin:$PATH

（3）执行命令使修改立即生效：

source /etc/profile

（4）测试安装是否成功：

java -version

出现版本号说明安装成功。

java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

2 kafka的安装部署

2.1 下载安装kafka

（1）下载Kafka。

wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

（2）解压缩Kafka。下载的kafka是已经编译好的程序，只需要解压即可得到执行程序。

tar -zxvf kafka_2.11-2.0.0.tgz

（3）进入kafka目录，以及查看对应的文件和目录。

cd kafka_2.11-2.0.0 
ls

bin：为执行程序
config：为配置文件
libs：为库文件

bin  config  libs  LICENSE  NOTICE  site-docs

2.2 配置和启动zookeeper

Kafka 3.0开始将zookeeper剥离出去了，下载的版本是2.11程序里自带了zookeeper，kafka自带的Zookeeper程序脚本与配置文件名与原生Zookeeper稍有不同。

kafka自带的Zookeeper程序使用bin/zookeeper-server-start.sh，以及bin/zookeeper-server-stop.sh来启动和停止Zookeeper。

# 启动zookeeper：
zookeeper-server-start.sh # 停止zookeeper：
zookeeper-server-stop.sh

kafka依赖于zookeeper来做master选举以及其他数据的维护。
在config目录下，存在一些配置文件：

zookeeper.properties 
server.properties

因此可以通过下面的脚本来启动zookeeper服务，当然，也可以自己独立搭建zookeeper的集群来实现。这里我们直接使用kafka自带的zookeeper。

cd bin/
# 前台运行：
sh zookeeper-server-start.sh  ../config/zookeeper.properties# 后台运行：
sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

启动zookeeper，默认端口为：2181，可以通过命令lsof -i:2181 查看zookeeper是否启动成功。

COMMAND    PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    128387  fly   96u  IPv6 2591167      0t0  TCP *:2181 (LISTEN)

2.3 启动和停止kafka

（1）修改server.properties（在config目录）, 增加zookeeper的配置，这里只是本地的配置，如果是另一台机器运行zookeeper，要配置对应的ip地址。

############################# Zookeeper ############################## Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

（2）启动kafka（kafka安装路径的bin目录下执行），默认启动端口9092。

sh kafka-server-start.sh -daemon ../config/server.properties

（3）停止kafka（kafka安装路径的bin目录下执行）。

sh kafka-server-stop.sh -daemon ../config/server.properties