Kafka集群扩容(新增一台kafka节点)

• kafka集群扩容、kafka topic迁移

• 现有环境

IP	组件	角色
192.168.17.51	kafka01	broker1
192.168.17.52	kafka02	broker2
192.168.17.53	kafka03	broker3

• 扩容之后环境

IP	组件	角色
192.168.17.51	kafka01	broker1
192.168.17.52	kafka02	broker2
192.168.17.53	kafka03	broker3
192.168.17.54	kafka04	broker4

• 背景：目前kafka集群只有三台，随着数据量逐渐变大，三台服务器kafka节点不足以支撑正常使用，所以打算在扩容一台kafka节点

1. kafka扩容步骤：

• 分发kafka包

scp -r kafka_2.11-1.1.1 root@192.168.17.54:/opt/

• 创建软连接，赋权限

ln -s kafka_2.11-1.1.1 /opt/kafka
chown -R kafka:kafka kafka
chown -R kafka:kafka kafka_2.11-1.1.1/

• 修改配置

vim /opt/kafka/config/server.properties

新的节点需要修改下面这些配置

broker.id #集群中是唯一的数字
listeners #本机IP
log.dirs #数据目录，可以多个目录，多目录逗号隔开
zookeeper.connec #zookeeper地址

• 启动kafka，并检查是否成功

nohup /bin/sh /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /dev/null 2>&1 &
jps

上步骤完成以后kafka集群没有完全扩容成功，因为只扩容了kafka节点，原来有的topic还是在原有的几点上，这台新扩容的还没有分担原有的压力，所以还需要迁移topic

2. 迁移kafka topic

在原有的集群上，任一一台kafka节点操作

使用kafka提供的工具kafka-reassign-partitions.sh来迁移数据。迁移数据需要分三步做

第一步：生成迁移计划

先手动生成一个topic.json，内容如下。这里topic可以是一个列表

单个topic迁移

{"topics": [{"topic": "ceshi2"},"version": 1
}

多个topic迁移

{"topics": [{"topic": "ceshi2"},{"topic": "ceshi3"},{"topic": "ceshi4"}],"version": 1
}

• 执行以下命令 生成迁移计划

./bin/kafka-reassign-partitions.sh --zookeeper 192.168.17.51:2181/kafka --topics-to-move-json-file topic.json --broker-list "1,2,3,4" --generate

–broker-list kafka集群的所有broker.id 我的是从1开始

• 查看需要迁移的topic信息

./bin/kafka-topics.sh --describe --zookeeper 192.168.17.52:2181/kafka --topic ceshi2

新建一个文件reassignment.json
保存上边建议分区信息，注意只复制只复制上述中’Proposed partition reassignment configuration’以下的部分
其中Current partition replica assignment指当前的分区情况，Proposed partition reassignment configuration是计划的分区情况

./bin/kafka-reassign-partitions.sh --zookeeper 192.168.17.51:2181/kafka --reassignment-json-file reassignment.json --execute

• 验证1

./bin/kafka-reassign-partitions.sh --zookeeper 192.168.17.51:2181/kafka --reassignment-json-file reassignment.json --verify

• 验证2
  可以通过以下命令查看该topic分布在那些节点上，正常是和刚才查到的不一样得，应该会在新扩容得节点上面有

./bin/kafka-topics.sh --describe --zookeeper 192.168.17.52:2181/kafka --topic ceshi2

迁移成功。