日志收集Day008

1.zk集群优化

修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。

(1)配置ZK的堆内存
vim /app/softwares/zk/conf/java.env

export JAVA_HOME=/sortwares/jdk1.8.0_291
export JVMFLAGS="-Xms256m -Xmx256m $JVMFLAGS"
EOF

(2)同步文件到其他节点
data_rsync.sh /app/softwares/zk/conf/java.env

(3)重启集群
 zkManager.sh restart

(4)验证堆内存
jmap -heap `jps | awk '/QuorumPeerMain/{print $1}'`
可以看到：MaxHeapSize              = 268435456 (256.0MB)，表明此时堆内存已经修改成功

2.部署kafka集群

1.停止kafka单点服务
kafka-server-stop.sh
2.修改配置文件
vim /app/softwares/kafka/config/server.properties

# 唯一标识kafka节点的数字编号，随便写，同一个集群中节点的id编号不重复即可。
broker.id=101
# 指定kafka的数据存储路径。
log.dirs=/app/data/kafka
# kafka连接zookeeper集群地址
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/kafka321

3.同步相关文件
data_rsync.sh /app/softwares/kafka
data_rsync.sh /app/softwares/kafka_2.13-3.2.1/
data_rsync.sh /etc/profile.d/kafka.sh

4.其他2个节点修改配置文件
vim /app/softwares/kafka/config/server.properties
broker.id=102(每个节点，唯一标识kafka节点的数字编号，集群内部不重复即可)

5.所有节点启动kafka环境
source /etc/profile.d/kafka.sh
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

6.查看zookeeper的源数据
zkCli.sh -server 10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181
ls /kafka321/brokers/ids