当前位置： 首页 > news >正文

ZooKeeper集群环境搭建

news 2025/9/21 8:43:47

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇

个人主页：beixi@
本文章收录于专栏（点击传送）：【大数据学习】

💓💓持续更新中，感谢各位前辈朋友们支持学习~💓💓

文章目录

    • 1.ZooKeeper集群环境介绍
    • 2.搭建环境准备
    • 3.搭建步骤

1.ZooKeeper集群环境介绍

ZooKeeper集群由多个服务器节点组成，其中包括一个Leader节点和多个Follower节点。Leader节点负责处理所有客户端请求，并将数据同步到Follower节点。当Leader节点出现故障时，Follower节点会通过选举机制选举出新的Leader节点。

ZooKeeper集群的主要特点包括：

  • 高性能：ZooKeeper采用基于内存的数据结构和高效的通信协议，具有很高的性能和低延迟。

  • 可靠性：ZooKeeper通过数据复制和选举机制来实现容错能力，即使部分节点出现故障，集群仍然可用。

  • 顺序一致性：ZooKeeper保证了客户端对数据的读写操作是按照其发送顺序被执行的。

  • 数据持久化：ZooKeeper可以将数据持久化到磁盘，即使集群重启也能恢复数据。
    在这里插入图片描述

2.搭建环境准备

本次用到的环境有：
JDK1.8.0_144
Zookeeper3.4.6
Oracle Linux 7.4

3.搭建步骤

1.解压Zookeeper压缩文件至/opt目录。

tar -zxvf experiment/file/zookeeper-3.4.6.tar.gz -C /opt

在这里插入图片描述

2.修改解压后文件夹的名字为zookeeper。

mv /opt/zookeeper-3.4.6 /opt/zookeeper
ll /opt/

在这里插入图片描述

3.复制Zookeeper配置文件zoo_sample.cfg名为/zoo.cfg

cp -r /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg

在这里插入图片描述

4.编辑文件zoo.cfg

vim /opt/zookeeper/conf/zoo.cfg

在这里插入图片描述

5.按键:set nu回车设置行号，部分截图如下
在这里插入图片描述

6.按键12gg，光标定位到12行，部分截图如下
在这里插入图片描述

7.按键 i ，更改代码如下：

dataDir=/root/zookeeper/zkdata
dataLogDir=/root/zookeeper/zkdatalog
server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=master:2888:3888

在这里插入图片描述

8.按键Esc，按键”:wq!”保存退出。
9.建立Zookeeper数据文件夹zkdata和日志文件夹zkdatalog。

mkdir -p /root/zookeeper/zkdata
mkdir -p /root/zookeeper/zkdatalog

在这里插入图片描述

10.赋予文件夹zkdata和zkdatalog可读写权限。

chmod 700 /root/zookeeper/zkdata
chmod 700 /root/zookeeper/zkdatalog

在这里插入图片描述

11.查看文件夹zkdata和zkdatalog可读写权限。

ll /root/zookeeper

在这里插入图片描述

12.编辑.bashrc文件，配置Zookeeper环境变量。

vim ~/.bashrc

在这里插入图片描述

13.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码

export ZOOKEEPER_HOME=/opt/zookeeper
PATH=$PATH:$ZOOKEEPER_HOME/bin

在这里插入图片描述

14.按键Esc，按键”:wq!”保存退出。
15.刷新配置文件，使新加Zookeeper环境变量生效。

source ~/.bashrc

在这里插入图片描述

16.拷贝master主机“.bashrc”文件到slave1、slave2从机“~”下。

scp ~/.bashrc slave1:~/
scp ~/.bashrc slave2:~/

在这里插入图片描述

17.拷贝“/root/zookeeper”目录下zkdata和zkdatalog文件夹到slave1、slave2从机对应位置。

scp -r /root/zookeeper slave1:/root/
scp -r /root/zookeeper slave2:/root/

在这里插入图片描述
在这里插入图片描述

18.拷贝配置好的zookeeper文件夹到slave1、slave2从机“/opt”下。

scp -r /opt/zookeeper slave1:/opt
scp -r /opt/zookeeper slave2:/opt

在这里插入图片描述
在这里插入图片描述

19.在当前主节点master机上，将字符串“3”写入文件myid。

echo "3" > /root/zookeeper/zkdata/myid

在这里插入图片描述

cat /root/zookeeper/zkdata/myid

在这里插入图片描述

20.切换至“从节点1”机器，双击桌面“Xfce终端”图标打开命令窗口，将“1”写入myid文件。

echo "1" > /root/zookeeper/zkdata/myid

在这里插入图片描述

cat /root/zookeeper/zkdata/myid

在这里插入图片描述

21.在slave1机上，刷新配置文件，使新加Zookeeper环境变量生效。

source ~/.bashrc

在这里插入图片描述

22.切换至“从节点2”机器，双击桌面“Xfce终端”图标打开命令窗口，将“2”写入myid文件。

echo "2" > /root/zookeeper/zkdata/myid

在这里插入图片描述

cat /root/zookeeper/zkdata/myid

在这里插入图片描述

23.在slave2机上，刷新配置文件，使新加Zookeeper环境变量生效。

source ~/.bashrc

在这里插入图片描述

24.切换至“主节点”，双击桌面“Xfce终端”图标打开命令窗口，启动Zookeeper。

zkServer.sh start

在这里插入图片描述

25.切换至“从节点1”，双击桌面“Xfce终端”图标打开命令窗口，启动Zookeeper。

zkServer.sh start

在这里插入图片描述

26.切换至“从节点2”，双击桌面“Xfce终端”图标打开命令窗口，启动Zookeeper。

zkServer.sh start

在这里插入图片描述

27.切换至“主节点”，通过命令窗口，查看Zookeeper状态和守护进程。

zkServer.sh status

jps

在这里插入图片描述

28.切换至“从节点1”，通过命令窗口，查看Zookeeper状态和守护进程。

zkServer.sh status

jps

在这里插入图片描述

29.切换至“从节点2”，通过命令窗口，查看Zookeeper状态和守护进程。

zkServer.sh status

jps

在这里插入图片描述

30.切换至“主节点”，双击桌面“Xfce终端”图标打开命令窗口，停止Zookeeper。

zkServer.sh stop

在这里插入图片描述

31.切换至“从节点1”，双击桌面“Xfce终端”图标打开命令窗口，停止Zookeeper。

zkServer.sh stop

在这里插入图片描述

32.切换至“从节点2”，双击桌面“Xfce终端”图标打开命令窗口，停止Zookeeper。

zkServer.sh stop

在这里插入图片描述

所有配置完成，如果本篇文章对你有帮助，记得点赞关注+收藏哦~

相关文章：

ZooKeeper集群环境搭建

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页：beixi 本文章收录于专栏（点击传送）：【大数据学习】 💓💓持续更新中，感谢各位前辈朋友们支持…...

编程日记 2023/9/2 1:25:32

【跟小嘉学 Rust 编程】二十、进阶扩展

系列文章目录 【跟小嘉学 Rust 编程】一、Rust 编程基础 【跟小嘉学 Rust 编程】二、Rust 包管理工具使用 【跟小嘉学 Rust 编程】三、Rust 的基本程序概念 【跟小嘉学 Rust 编程】四、理解 Rust 的所有权概念 【跟小嘉学 Rust 编程】五、使用结构体关联结构化数据 【跟小嘉学…...

编程日记 2023/9/2 1:24:30

pytorch学习过程中一些基础语法

1、tensor.view()函数，通俗理解就是reshape，#参数这里的-1需要注意，可以根据原张量size自行计算 data1torch.randn((4,2)) data2data1.view(2,4) data3data2.view(-1,8)2、tensor.max()函数，在分类问题中，通常需要使用…...

编程日记 2023/9/2 1:23:29

判断聚类 n_clusters

目录 基本原理 代码实现： 肘部法则（Elbow Method）： 轮廓系数（Silhouette Coefficient） Gap Statistic（间隙统计量）： Calinski-Harabasz Index（Calinski-…...

编程日记 2023/9/2 1:22:27

基于深度学习的网络异常检测方法研究

摘要： 本文提出了一种基于深度学习的网络异常检测方法，旨在有效地识别网络中潜在的异常行为。通过利用深度学习算法，结合大规模网络流量数据的训练，我们实现了对复杂网络环境下的异常行为的准确检测与分类。实验结果表明&#xf…...

编程日记 2023/9/2 1:21:26

SSM 基于注解的整合实现

一、pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"><modelV…...

编程日记 2023/9/2 1:20:25

工具类APP如何解决黏性差、停留短、打开率低等痛点？

工具产品除了需要把自己的功能做到极致之外&#xff0c;其实需要借助一些情感手段、增设一些游戏机制、输出高质量内容、搭建社区组建用户关系链等方式&#xff0c;来提高产品的用户黏性&#xff0c;衍生产品的价值链。 工具类产品由于进入门槛低&#xff0c;竞争尤为激烈&…...

编程日记 2023/9/2 1:17:54

使用Java MVC开发高效、可扩展的Web应用

在当今的Web开发领域&#xff0c;高效和可扩展性是我们追求的目标。Java作为一种强大且广泛使用的编程语言&#xff0c;提供了丰富的工具和框架来支持Web应用的开发。其中&#xff0c;MVC模式是一种被广泛采用的架构模式&#xff0c;它能够有效地组织和管理代码&#xff0c;使得…...

编程日记 2023/9/2 1:16:54

wandb安装方法及本地部署教程

文章目录 1 wandb介绍2 wandb安装2.1 注册wandb账号2.2 创建项目并获得密钥2.3 安装wandb并登录 3 wandb本地部署3.1 设置wandb运行模式3.2 云端查看运行数据 4 总结 1 wandb介绍 Wandb&#xff08;Weights & Biases&#xff09;是一个用于跟踪、可视化和协作机器学习实验…...

编程日记 2023/9/2 1:15:53

stable diffusion实践操作-提示词插件安装与使用

本文专门开一节写提示词相关的内容&#xff0c;在看之前&#xff0c;可以同步关注&#xff1a; stable diffusion实践操作 正文 1、提示词插件安装 1.1、 安装 1.2 加载【应用更改并重载前端】 1.3 界面展示 1.3.-4 使用 里面有个收藏列表&#xff0c;可以收藏以前的所有提示…...

编程日记 2023/9/2 1:14:52

【SpringBoot】详细介绍SpringBoot中的bean

在Spring Boot中&#xff0c;Bean是由Spring容器实例化、管理和维护的对象。Bean是Spring框架的核心概念之一&#xff0c;它代表了应用程序中的组件或对象。 以下是有关Spring Boot中Bean的详细介绍&#xff1a; 1. 定义&#xff1a;Bean是在Spring容器中被实例化、管理和维护…...

编程日记 2023/9/2 1:13:51

【Nuxt实战】在Nuxt3项目中如何按需引入Element-plus

步骤一&#xff1a;安装 Element Plus 和图标库 首先&#xff0c;使用以下命令安装 Element Plus 和它的图标库&#xff1a; npm install element-plus --save npm install element-plus/icons-vue步骤二&#xff1a;安装 Nuxt Element Plus 模块 安装 Nuxt Element Plus 模…...

编程日记 2023/9/2 1:12:50

专业制造一体化ERP系统，专注于制造工厂生产管理信息化，可定制-亿发

制造业是国民经济的支柱产业&#xff0c;对于经济发展和竞争力至关重要。在数字化和智能化趋势的推动下&#xff0c;制造业正处于升级的关键时期。而ERP系统&#xff0c;即企业资源计划系统&#xff0c;能够将企业的各个业务环节整合起来&#xff0c;实现资源的有效管理和信息的…...

编程日记 2023/9/2 1:11:48

Linux工具

一、yum yum可以看作一个客户端&#xff08;应用商店&#xff09;、应用程序&#xff0c;它如何知道去哪里下载软件&#xff1f; yum也是一个指令/程序&#xff0c;可以找到它的安装路径。 在list中可以看到yum能安装的所有软件&#xff0c;通过管道找到想要的&#xff0c;yum …...

编程日记 2023/9/2 1:10:47

Java项目-苍穹外卖-Day07-redis缓存应用-SpringCache/购物车功能

文章目录 前言缓存菜品问题分析和实现思路缓存菜品数据清理缓存数据功能测试 SpringCache介绍入门案例 缓存套餐购物车功能添加购物车需求分析和产品原型测试 查看购物车清空购物车 前言 本章节主要是进行用户端的购物车功能开发 和redis作为mysql缓存的应用以及SpringCache的…...

编程日记 2023/9/2 1:09:46

零知识证明（zk-SNARK）（一）

全称为 Zero-Knowledge Succinct Non-Interactive Argument of Knowledge&#xff0c;简洁非交互式零知识证明&#xff0c;简洁性使得运行该协议时&#xff0c;即便statement非常大&#xff0c;它的proof大小也仅有几百个bytes&#xff0c;并且验证一个proof的时间可以达到毫秒…...

编程日记 2023/9/2 1:08:44

linux中打印数据的行缓冲模式

1. 回车换行符在Window下和在Linux下的区别&#xff1a; 在Window下&#xff1a;回车换行符为\r\n 在Linux下&#xff1a;回车换行符为\n \n为换行符&#xff0c;换行相当于光标跳转到下一行的这个位置 \r为回车符&#xff0c;回车相当于光标跳转到当前行的最左边的位置 所以…...

编程日记 2023/9/2 1:07:43

香橙派OrangePi zero H2+ 驱动移远4G/5G模块

目录 1 安装系统和内核文件&#xff1a; 1.1 下载镜像 1.2 内核头安装 1.2.1 下载内核 1.2.2 将内核头文件导入开发板中 1.2.3 安装内核头 2 安装依赖工具&#xff1a; 2.1 Installing Required Host Utilities 3 驱动步骤&#xff1a; 3.1 下载模块驱动文件…...

编程日记 2023/9/2 1:06:42

自动驾驶——【规划】记忆泊车特殊学习路径拟合

1.Back ground 如上图&#xff0c;SLAM学习路线Start到End路径&#xff0c;其中曲线SDAB为D档位学习路径&#xff0c;曲线BC为R学习路径&#xff0c;曲线AE为前进档D档学习路径。 为了使其使用记忆泊车时&#xff0c;其驾驶员体验感好&#xff0c;需去除R档倒车部分轨迹&#x…...

编程日记 2023/9/2 1:05:39

【跟小嘉学 Rust 编程】十六、无畏并发(Fearless Concurrency)

系列文章目录 【跟小嘉学 Rust 编程】一、Rust 编程基础 【跟小嘉学 Rust 编程】二、Rust 包管理工具使用 【跟小嘉学 Rust 编程】三、Rust 的基本程序概念 【跟小嘉学 Rust 编程】四、理解 Rust 的所有权概念 【跟小嘉学 Rust 编程】五、使用结构体关联结构化数据 【跟小嘉学…...

编程日记 2023/9/2 1:04:36

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…...

编程新知 2025/9/20 0:09:22

synchronized 学习

学习源&#xff1a; https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖&#xff0c;也要考虑性能问题&#xff08;场景&#xff09; 2.常见面试问题&#xff1a; sync出…...

编程新知 2025/9/8 2:34:58

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/7/23 19:14:14

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

编程新知 2025/7/9 1:12:03

代理篇12|深入理解 Vite中的Proxy接口代理配置

在前端开发中，常常会遇到 跨域请求接口 的情况。为了解决这个问题，Vite 和 Webpack 都提供了 proxy 代理功能，用于将本地开发请求转发到后端服务器。 什么是代理（proxy）？ 代理是在开发过程中，前端项目通过开发服务器，将指定的请求“转发”到真实的后端服务器，从而绕…...

编程新知 2025/9/13 13:10:12

Linux C语言网络编程详细入门教程：如何一步步实现TCP服务端与客户端通信

文章目录 Linux C语言网络编程详细入门教程&#xff1a;如何一步步实现TCP服务端与客户端通信前言一、网络通信基础概念二、服务端与客户端的完整流程图解三、每一步的详细讲解和代码示例1. 创建Socket&#xff08;服务端和客户端都要&#xff09;2. 绑定本地地址和端口&#x…...

编程新知 2025/6/25 4:41:54

算法岗面试经验分享-大模型篇

文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer &#xff08;1&#xff09;资源 论文&a…...

编程新知 2025/9/18 12:53:33

MySQL 部分重点知识篇

一、数据库对象 1. 主键 定义 &#xff1a;主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 &#xff1a;确保数据的完整性&#xff0c;便于数据的查询和管理。 示例 &#xff1a;在学生信息表中&#xff0c;学号可以作为主键&#xff…...

编程新知 2025/8/19 22:24:50

Python 高效图像帧提取与视频编码：实战指南

Python 高效图像帧提取与视频编码：实战指南 在音视频处理领域，图像帧提取与视频编码是基础但极具挑战性的任务。Python 结合强大的第三方库（如 OpenCV、FFmpeg、PyAV），可以高效处理视频流，实现快速帧提取、压缩编码等关键功能。本文将深入介绍如何优化这些流程，提高处理…...

编程新知 2025/8/31 18:02:53

python可视化：俄乌战争时间线关键节点与深层原因

俄乌战争时间线可视化分析&#xff1a;关键节点与深层原因 俄乌战争是21世纪欧洲最具影响力的地缘政治冲突之一&#xff0c;自2022年2月爆发以来已持续超过3年。 本文将通过Python可视化工具&#xff0c;系统分析这场战争的时间线、关键节点及其背后的深层原因&#xff0c;全面…...

编程新知 2025/9/2 16:42:15