Zookeeper 集群部署与故障转移

Zookeeper 介绍

Zookeeper 是一个开源的分布式协调服务，由Apache基金会维护，专为分布式应用提供高可用、强一致性的核心基础能力。它通过简单的树形命名空间（称为ZNode树）存储数据节点（ZNode），每个节点可包含少量数据和ACL权限控制。Zookeeper的核心价值在于解决分布式环境中的协同难题：如统一配置管理、分布式锁服务、集群选主、状态同步和命名服务等。其设计遵循CP原则（一致性优先），采用ZAB（Zookeeper Atomic Broadcast）共识协议保证数据强一致性，所有写操作必须由Leader节点协调，经集群多数节点（Quorum）确认后才能提交。客户端通过Session会话与集群交互，会话超时机制可自动清理临时节点（Ephemeral Nodes），而顺序节点（Sequential Nodes）生成的全局唯一路径则实现了分布式队列等高级模式。凭借其轻量级API、高吞吐和可靠的故障恢复机制，Zookeeper已成为Hadoop、Kafka、Dubbo等众多分布式系统的核心依赖。

---

Zookeeper 写请求处理

• 客户端请求：客户端图标向Zookeeper集群发送写请求

• Leader协调：其中一个节点接收请求，Leader将操作转换为事务Proposal

• 广播提案：Leader向所有Follower广播提案

• ACK确认：Followers处理提案后返回ACK，当收到多数节点ACK（如3/5节点）时，Leader发出COMMIT指令

• 数据提交：所有节点将数据写入内存数据库，事务日志实时滚动记录

Zookeeper 事务日志和快照

Zookeeper 集群中的每个服务器节点每次接收到写操作请求时，都会先将这次请求发送给 leader。leader 将这次写操作转换为带有状态的事务，然后对这次写操作进行广播以便协调。当协调通过（即大多数节点允许这次写操作）后，leader 通知所有的服务器节点，使它们将这次写操作应用到内存数据库中，并将其记录到事务日志中。

当事务日志记录的次数达到一定数量后（默认 100,000 次），就会将内存数据库序列化一次，使其持久化保存到磁盘上。序列化后的文件称为“快照文件”。每次生成快照后，都会创建新的事务日志文件。

---

1. 日志计数：事务日志计数器从0开始累加

2. 触发阈值：当计数器达到snapCount=100,000时暂停新事务写入

3. 序列化快照：内存数据库内容被序列化，生成快照文件

4. 日志重置：创建新事务日志文件（旧日志归档，新日志从0开始计数）

---

Zookeeper 配置文件

tickTime=2000 # "滴答时间"，用于配置Zookeeper中最小的时间单元长度（单位：毫秒），是其它时间配置的基础。
initLimit=10 # 初始化限制时间（包含启动和数据同步），单位是tickTime的倍数。
syncLimit=5 # 同步限制时间（用于正常工作状态下的心跳监测间隔），单位是tickTime的倍数。
dataDir=/tmp/zookeeper # 配置Zookeeper服务存储数据文件的目录供服务器访问。基于安全考虑，可以修改为 dataDir=/usr/local/zookeeper/data
#dataLogdir=/usr/local/zookeeper/logs # 可以指定事务日志的存储路径。事务日志对Zookeeper的性能影响非常大，强烈建议将事务日志目录（dataLogDir）和数据目录（dataDir）分开存储。
clientPort=2181 # 配置当前Zookeeper服务对外暴露的端口，供客户端连接和建立会话使用。
preAllocsize: # 为每个新的事务日志文件预分配磁盘空间的大小。默认是64M，意味着每个新的事务日志文件初始大小即为64M。如果Zookeeper产生事务（写操作）的频率非常高，可以考虑减小这个参数值，因为每次日志切换后都会创建一个新的事务日志文件（即使之前的64M空间可能尚未写满）。
snapCount: # 此配置项定义了Zookeeper在将内存数据库（DataTree）序列化为快照（Snapshot）文件之前，需要写入多少次事务日志。即，每写入若干次事务日志后，会生成一次快照。默认值为100000。为了防止Zookeeper集群中的所有服务器节点同时生成快照（通常情况下，所有集群节点的配置文件是完全相同的），当某个节点已写入的事务日志数量进入区间 (snapCount/2 + 1, snapCount) 时，会随机选择一个具体的数值作为该节点实际生成快照的触发点。
autopurge.snapRetainCount=3 # (3.4.0中新增的功能)：启用Zookeeper自动清理功能后，此参数指定保留在 dataDir 和 dataLogDir 中的最新快照文件及其对应的事务日志文件的数量。系统将保留此数量的文件（默认为3，最小值也为3），并清除更旧的文件。
autopurge.purgeInterval=24 # (3.4.0及之后版本)：此参数指定了自动清理功能执行的频率（单位：小时）。需要配置一个1或更大的整数。默认值是0，表示不开启自动清理功能。

Zookeeper 集群部署

现在有三台机器都已经安装Zookeeper

主机	IP
Server1	192.168.80.11
Server2	192.168.80.22
Server3	192.168.80.33

三台机器上传Zookeeper集群一键安装脚本

#!/bin/bash
ZK_VERSION=3.8.4
ZK_URL="https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-${ZK_VERSION}/apache-zookeeper-${ZK_VERSION}-bin"NODE1=192.168.80.11
NODE2=192.168.80.22
NODE3=192.168.80.33. /etc/os-releaseprint_status() {local message=$1local status=$2local GREEN='\033[0;32m'local RED='\033[0;31m'local YELLOW='\033[0;33m'local NC='\033[0m'local status_symbol=""case $status insuccess)status_symbol="[  OK  ]"color=$GREEN;;failure)status_symbol="[FAILED]"color=$RED;;warning)status_symbol="[WARN  ]"color=$YELLOW;;esacprintf "%-50s ${color}%s${NC}\n" "$message" "$status_symbol"
}detect_node_id() {local current_ip=$(hostname -I | awk '{print $1}')if [[ $current_ip == $NODE1 ]]; thenMYID=1elif [[ $current_ip == $NODE2 ]]; thenMYID=2elif [[ $current_ip == $NODE3 ]]; thenMYID=3elsewhile true; doread -p "输入节点编号 (1-3): " MYIDif [[ $MYID =~ ^[1-3]$ ]]; thenbreakelseprint_status "无效的节点编号，请输入1-3" warningfidonefiprint_status "节点ID: $MYID" success
}install_java() {print_status "安装Java环境..." successif [[ $ID == 'centos' || $ID == 'rocky' ]]; thenyum -y install java-1.8.0-openjdk-develelseapt updateapt install -y openjdk-8-jdkfiif java -version &>/dev/null; thenprint_status "Java安装成功" successjava -versionelseprint_status "Java安装失败" failureexit 1fi
}setup_zookeeper() {print_status "安装ZooKeeper..." successlocal install_dir="/usr/local/src"local zk_package="apache-zookeeper-${ZK_VERSION}-bin.tar.gz"local zk_home="/usr/local/zookeeper"mkdir -p $install_dirif [[ ! -f "$install_dir/$zk_package" ]]; thenprint_status "下载ZooKeeper安装包..." successwget -P $install_dir --no-check-certificate "$ZK_URL" || {print_status "下载失败: $ZK_URL" failureexit 1}fitar xf "$install_dir/$zk_package" -C /usr/local || {print_status "解压失败" failureexit 1}ln -sf "/usr/local/apache-zookeeper-${ZK_VERSION}-bin" "$zk_home"echo "export PATH=$zk_home/bin:\$PATH" > /etc/profile.d/zookeeper.shsource /etc/profile.d/zookeeper.shlocal data_dir="$zk_home/data"mkdir -p "$data_dir"echo "$MYID" > "$data_dir/myid"cat > "$zk_home/conf/zoo.cfg" <<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=$data_dir
clientPort=2181
maxClientCnxns=128
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
server.1=$NODE1:2888:3888
server.2=$NODE2:2888:3888
server.3=$NODE3:2888:3888
EOFcat > /etc/systemd/system/zookeeper.service <<EOF
[Unit]
Description=Apache ZooKeeper Service
After=network.target[Service]
Type=forking
Environment="JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))"
ExecStart=$zk_home/bin/zkServer.sh start
ExecStop=$zk_home/bin/zkServer.sh stop
ExecReload=$zk_home/bin/zkServer.sh restart
User=root
Group=root
Restart=on-failure
RestartSec=10[Install]
WantedBy=multi-user.target
EOFsystemctl daemon-reloadsystemctl enable --now zookeeper.serviceif systemctl is-active --quiet zookeeper.service; thenprint_status "ZooKeeper 启动成功" successzkServer.sh statuselseprint_status "ZooKeeper 启动失败" failurejournalctl -u zookeeper.service -b --no-pagerexit 1fi
}main() {detect_node_idinstall_javasetup_zookeeperprint_status "ZooKeeper 节点 $MYID 安装完成" success
}main

依次执行脚本，并查看集群状态：

192.168.80.11：

192.168.80.22：

192.168.80.33：

测试故障转移：

停掉192.168.80.22 也就是leader：

查看节点状态，80.33成为leader

Zookeeper 客户端访问

1.连接集群

zkCli.sh -server 192.168.80.22:2181  #指定服务器连接
zkCli.sh  #默认连接本机

2.基础命令

命令	作用	示例
ls /	查看根节点下所有节点	ls / → [zookeeper]
create	创建节点（默认持久节点）	create /appl "data"
get	获取节点数据	get /appl → hello,zookeeper
set	修改节点数据	set /appl "new_data"
delete	删除无子节点的节点	delete /appl
deleteall	递归删除节点及其子节点	deleteall /appl
stat	查看节点元数据	stat /zookeeper
version	查看客户端版本	version → 3.6.2...
TAB键	列出所有支持命令	输入后显示命令列表

3.节点类型特性

类型	创建方式	关键特性
持久节点	create /path	会话结束仍存在，支持创建子节点（需逐级创建）
临时节点	create -e /path	会话结束自动删除，不支持创建子节点

4.写入和读取

在test1下的config中写入或读取数据，所以Zookeeper中的文件可以理解为文件或文件夹，是通用的，既能存放数据又能当文件夹。

注意临时节点无法创建子目录：