当前位置: 首页 > news >正文

全国职业院校技能大赛(大数据赛项)-平台搭建Zookeeper笔记

        ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,为分布式应用提供一致性服务。它的设计目标是简化分布式系统的管理,保证多个节点之间的数据一致性和协调工作。ZooKeeper提供了类似文件系统的层次化命名空间,用来存储和管理元数据,确保分布式应用的高可用性和强一致性。

        在我们职业院校技能大赛的大数据赛项中平台搭建模块,Zookeeper组件是经常考察到的,所以今天小编为了帮助大家更好的备赛和交流学习,为大家分享一下Zookeeper的搭建笔记。

        大家在跟着小编搭建之前,请先保证自己虚拟机已经安装好了JDK,而且防火墙均已关闭。

        一、解压安装包到指定目录

tar -zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/
  • tar: 这是用于打包和解包文件的工具。tar最初是用来在磁带(tape archive)上存储文件的,但现在它广泛用于创建和操作文件系统的归档文件。

  • -zxvf: 这是tar命令的选项,用于指定操作的模式和参数。

    • z 表示使用gzip来解压文件。apache-zookeeper-3.5.7-bin.tar.gz是一个使用gzip压缩的tar归档文件。
    • x 表示解压文件。
    • v 表示在解压过程中显示文件的详细信息(verbose模式)。
    • f 表示后面跟着的是要处理的文件名。

        二、更改名称

mv apache-zookeeper-3.5.7-bin zookeeper
  • mv:这是“move”的缩写,但在这个上下文中,它更常被用来表示“rename”(重命名)。mv命令可以用来移动文件或目录到新的位置,或者仅仅改变它们的名称而不改变它们的位置。

        三、添加data和logs目录

(1)先进入到zookeeper目录下

cd /opt/module/zookeeper

(2)新建目录

mkdir data logs

        四、配置环境变量

vim /etc/profile
# 打开文件后,添加以下配置
# ZOOKEEPER_HOME
export ZK_HOME=/opt/module/zookeeper
export PATH=$PATH:$ZK_HOME/bin

        五、配置文件

(1)进入到zookeeper的conf目录下

cd /opt/module/zookeeper/conf/

(2)将zook_sample.cfg副本复制一份

cp zoo_sample.cfg zoo.cfg

(3)打开文件并修改配置

vim zoo.cfg

注意:'dataDir'配置是本来就有的,修改以下目录位置就行,'dataLogDir'在他下一行新增即可,

而下面三个‘server’配置,直接写在文件末尾(其实写哪都行,这样更美观)

dataDir=/opt/module/zookeeper/data
dataLogDir=/opt/module/zookeeper/logs
server.1=bigdata101:2888:3888
server.2=bigdata102:2888:3888
server.3=bigdata103:2888:3888
# 上面的IP可以换成自己的主机地址,或者换成主机名,一般我们换成主机名

        六、分发文件

# 分发环境变量
scp -r /etc/profile root@bigdata102:/etc/
scp -r /etc/profile root@bigdata103:/etc/
# 分发zookeeper文件
scp -r /opt/module/zookeeper/ root@bigdata102:/opt/module/
scp -r /opt/module/zookeeper/ root@bigdata103:/opt/module/

        七、启动环境变量(三台虚拟机都要启动)、分别创建myid

source /etc/profile
bigdata101中:echo '1' > /opt/module/zookeeper/data/myid
bigdata102中:echo '2' > /opt/module/zookeeper/data/myid
bigdata103中: echo '3' > /opt/module/zookeeper/data/myid

        这条命令的目的是在ZooKeeper服务器的数据目录中创建一个名为 myid 的文件,并向其中写入一个数字(不同即可)。这个数字在ZooKeeper集群中用于唯一标识每个服务器节点。

当ZooKeeper集群启动时,每个节点都能通过读取自己的 myid 文件来知道自己在集群中的唯一ID,从而正确地参与集群的协作和选举过程。

确保每个节点的 myid 文件都正确设置是非常重要的,因为错误的ID配置可能会导致集群无法正常工作或选举出错误的领导者。

        八、Zookeeper的使用

启动:zkServer.sh start // 注意:每一台虚拟机需要分别启动
停止:zkServer.sh stop
重启:zkServer.sh restart
查看状态:zkServer.sh status

        最后,zookeeper大家启动之后查看进程,不论zookeeper搭建的正确与否,他的进程都会正常显示,所以大家搭建完成之后一定要看一看zookeeper的状态,是否实现了分布式系统中的Leader选举,如果出现Error,那么即为搭建错误,需要大家根据具体情况解决。

        大家如果对全国职业院校技能大赛(今年改为世界职业技能大赛)有兴趣的话,欢迎联系小编,大家共同学习进步!!

相关文章:

全国职业院校技能大赛(大数据赛项)-平台搭建Zookeeper笔记

ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,为分布式应用提供一致性服务。它的设计目标是简化分布式系统的管理,保证多个节点之间的数据一致性和协调工作。ZooKeeper提供了类似文件系统的层次化命名空间,用来存储和管理元数…...

不同领域神经网络一般选择什么模型作为baseline(基准模型)

在神经网络研究中,选择合适的baseline(基线模型)是评估新方法有效性的重要步骤。基线模型通常是领域内公认的、性能良好的参考模型,用于比较和验证新提出模型的优势。以下是一些在不同任务和领域中常见的基线模型选择:…...

华为-IPv6与IPv4网络互通的6to4自动隧道配置实验

IPv4向IPv6的过渡不是一次性的,而是逐步地分层次地。在过渡时期,为了保证IPv4和IPv6能够共存、互通,人们发明了一些IPv4/IPv6的互通技术。 本实验以6to4技术为例,阐述如何配置IPv6过渡技术。 配置参考 R1 # sysname R1 # ipv6# interface GigabitEthernet0/0/1ip address 200…...

【spring中event】事件简单使用

定义事件类 /* * 1. 定义事件类 * 首先,我们创建一个自定义事件 UserRegisteredEvent,用于表示用户注册事件。 * */ public class UserRegisteredEvent extends ApplicationEvent {private final String email;public UserRegisteredEvent(Object sourc…...

leetcode每日一题day19(24.9.29)——买票需要的时间

思路:在最开始的情况下每人需要买的票数减一是能保持相对位置不变的, 如果再想减一就有可能 有某些人只买一张票,而离开了队伍, 所有容易想到对于某个人如果比当前的人买的多就按当前的人数量算 因为在一次次减一的情况下&#xf…...

智源研究院推出全球首个中文大模型辩论平台FlagEval Debate

近日,智源研究院推出全球首个中文大模型辩论平台FlagEval Debate,旨在通过引入模型辩论这一竞争机制对大语言模型能力评估提供新的度量标尺。该平台是智源模型对战评测服务FlagEval大模型角斗场的延展,将有助于甄别大语言模型的能力差异。 F…...

python实用脚本(二):删除xml标签下的指定类别

介绍 在目标检测中,有些时候会遇到标注好的类别不想要了的情况,这时我们可以运行下面的代码来批量删除不需要的类别节省时间。 代码实现: import argparseimport xml.etree.ElementTree as ET import osclasses [thin_smoke]def GetImgNam…...

vue3 父子组件调用

vue3 父子组件调用 父组件调用子组件方法 子组件使用defineExpose将方法抛出 父组件定义 function&#xff0c;子组件通过 defineExpose 暴露方法&#xff0c;父组件通过 ref 获取子组件实例&#xff0c;然后通过 ref 获取子组件方法。 // 父组件 <template><div>…...

线性模型到神经网络

&#x1f680; 在初始神经网络那一节&#xff08;链接如下&#xff1a;初始神经网络&#xff09;的最后&#xff0c;我们通过加大考虑的天数使得我们最后得到的模型Loss最终停留在了0.32k&#xff0c;当我们在想让模型更加准确的时候&#xff0c;是做不到的&#xff0c;因为我们…...

【架构】前台、中台、后台

文章目录 前台、中台、后台1. 前台&#xff08;Frontend&#xff09;特点&#xff1a;技术栈&#xff1a; 2. 中台&#xff08;Middleware&#xff09;特点&#xff1a;技术栈&#xff1a; 3. 后台&#xff08;Backend&#xff09;特点&#xff1a;技术栈&#xff1a; 示例场景…...

Stable Diffusion 蒙版:填充、原图、潜空间噪声(潜变量噪声)、潜空间数值零(潜变量数值零)

在Stable Diffusion中&#xff0c;蒙版是一个重要工具&#xff0c;它允许用户对图像的特定部分进行编辑或重绘。关于蒙版蒙住的内容处理选项&#xff0c;包括填充、原图、潜空间噪声&#xff08;潜变量噪声&#xff09;、浅空间数值零&#xff08;潜变量数值零&#xff09;&…...

ffmpeg录制视频功能

本文目录 1.环境配置2.ffmpeg编解码的主要逻辑&#xff1a;3. 捕获屏幕帧与写入输出文件4. 释放资源 在录制结束时&#xff0c;释放所有分配的资源。5.自定义I/O上下文6.对于ACC编码器注意事项 1.环境配置 下载并安装FFmpeg库 在Windows上 从FFmpeg官方网站下载预编译的FFmpeg…...

【LeetCode】每日一题 2024_10_1 最低票价(记忆化搜索/DP)

前言 每天和你一起刷 LeetCode 每日一题~ 大家国庆节快乐呀~ LeetCode 启动&#xff01; 题目&#xff1a;最低票价 代码与解题思路 今天这道题是经典动态规划&#xff0c;我们定义 dfs(i) 表示从第 1 天到 第 i 天的最小花费&#xff0c;然后使用祖传的&#xff1a;从记忆…...

[C++] 小游戏 征伐 SLG DNF 0.0.1 版本 zty出品

目录 先赞后看 养成习惯 War and Expedition SLG DNF 0.0.1 version 讲人话就是 图标解释&#xff1a; 绿色代表空地&#xff0c;可通过&#xff0c;对应数值 0 蓝色“~ ”为水&#xff0c;不可通过&#xff0c;对应数值 1 棕色“”为桥梁&#xff0c;可通过&#xff0…...

黑马头条day7-app端文章搜索

今天的内容也只是跑了一下 对于具体的实现掌握的很差 仔细看 es 在微服务学的es使用基本忘光了 这里用起来一点都熟悉 重学&#xff01;&#xff01;&#xff01; kafka异步 文章自动构建索引的时候用到了‘’ mongoDB 用来存储用户的搜索记录 遗忘&#xff08;拦截器 j…...

嵌入式必懂微控制器选型:STM32、ESP32、AVR与PIC的比较分析

目录 1 微控制器基础概述 1.1 微控制器基本概念 1.2 工作原理及架构 1.3 STM32、ESP32、AVR和PIC简介 2 微控制器性能比较分析 2.1 性能比较 2.2 功耗比较 2.3 功耗分析 2.4 外设接口对比 3 应用场景与选择策略 3.1 物联网应用场景 3.2 工业控制场景 3.3 智能家居场…...

Python selenium库学习使用实操二

系列文章目录 Python selenium库学习使用实操 文章目录 系列文章目录前言一、模拟登录二、表单录入 前言 在上一篇文章中&#xff0c;我们完成Selenium环境的搭建&#xff0c;和简单的自动化。今天继续深入学习。今天的目标是完成模拟登录&#xff0c;和表单录入。 一、模拟登…...

基于Hive和Hadoop的电信流量分析系统

本项目是一个基于大数据技术的电信流量分析系统&#xff0c;旨在为用户提供全面的通信数据和深入的流量使用分析。系统采用 Hadoop 平台进行大规模数据存储和处理&#xff0c;利用 MapReduce 进行数据分析和处理&#xff0c;通过 Sqoop 实现数据的导入导出&#xff0c;以 Spark…...

访问docker容器中服务的接口,报错提示net::ERR_CONNECTION_REFUSED

背景 使用httpclient和前端调用docker容器中部署的springboot服务接口,一直连接不上。 报错信息 AxiosError {message: Network Error, name: AxiosError, code: ERR_NETWORK, config: {…}, request: XMLHttpRequest, …} sys.ts:28 POST http://172.33.28.179:8181/sy…...

【mysql相关总结】

mysql相关总结 数据库小的表,全表扫描效率更高&#xff0c;不用建索引。 索引的类型 1.普通索引&#xff1a;基本的索引&#xff0c;没有任何约束限制 2.唯一索引&#xff1a;类似普通索引,有唯一约束性 3.主键索引&#xff1a;特殊的唯一索引,不允许有空值 4.组合索引&#xf…...

C语言实现进程调度系统:优先级与时间片轮转

基于C语言的进程调度系统设计与实现1. 项目概述1.1 系统功能本系统实现了一个基于优先数调度和先来先服务算法的进程调度模拟器&#xff0c;主要功能包括&#xff1a;进程控制块(PCB)管理动态优先级调度时间片轮转执行进程状态跟踪文件操作模拟1.2 设计目标模拟操作系统进程调度…...

AI混音师登场:音频自动混音技术全景解读与实战展望

AI混音师登场&#xff1a;音频自动混音技术全景解读与实战展望 引言 在AIGC浪潮席卷内容创作的今天&#xff0c;音频制作领域正经历一场静默革命。从专业录音棚到手机直播间&#xff0c;“一键母带”、“智能平衡”功能已不再陌生。这背后&#xff0c;正是音频自动混音技术在驱…...

Dalsa线阵相机采图实战:从FreeRun到编码器触发的保姆级配置流程

Dalsa线阵相机采图实战&#xff1a;从FreeRun到编码器触发的工业级配置指南 在工业视觉检测领域&#xff0c;线阵相机凭借其高分辨率、高速成像的特性&#xff0c;已成为印刷、纺织、板材检测等连续运动场景的首选方案。作为行业标杆的Dalsa线阵相机&#xff0c;其工作模式切换…...

PDF-Guru安全防护指南:从威胁识别到主动防御

PDF-Guru安全防护指南&#xff1a;从威胁识别到主动防御 【免费下载链接】PDF-Guru A Multi-purpose PDF file processing tool with a nice UI that supports merge, split, rotate, reorder, delete, scale, crop, watermark, encrypt/decrypt, bookmark, extract, compress,…...

洛雪音乐音源终极指南:5分钟解锁全网无损音乐资源

洛雪音乐音源终极指南&#xff1a;5分钟解锁全网无损音乐资源 【免费下载链接】lxmusic- lxmusic(洛雪音乐)全网最新最全音源 项目地址: https://gitcode.com/gh_mirrors/lx/lxmusic- 洛雪音乐音源是专为洛雪音乐客户端设计的强大插件集合&#xff0c;能够帮助你轻松获取…...

LM339比较器实战:手把手教你搭建电池电压监测电路(附电路图)

LM339比较器实战&#xff1a;手把手教你搭建电池电压监测电路&#xff08;附电路图&#xff09; 1. 为什么选择LM339作为电池监测核心器件&#xff1f; 在电子设计领域&#xff0c;电压监测是保障设备稳定运行的基础功能之一。LM339作为一款经典的四路电压比较器&#xff0c;…...

STM32实战:为小米CyberGear/灵足电机构建机械限位零点与位置模式正弦轨迹

1. 小米CyberGear电机零点丢失问题解析 第一次用小米CyberGear电机做项目时&#xff0c;我就被它断电后零点丢失的问题坑得不轻。早上调好的机械臂&#xff0c;下午上电就歪了30度&#xff0c;这种体验相信很多开发者都遇到过。这其实是大多数伺服电机的通病——断电后编码器位…...

GraphRAG大揭秘:微软如何用知识图谱让AI问答更精准,效率翻倍!

微软推出的GraphRAG通过引入知识图谱技术&#xff0c;有效解决了传统RAG在信息连接和归纳总结上的不足。GraphRAG利用大模型构建知识图谱&#xff0c;实现实体和关系的结构化表示&#xff0c;显著提升答案的准确度与完整性&#xff0c;并支持多跳推理。文章详细介绍了知识图谱的…...

基于Matlab的齿轮动力学仿真探索

基于matlab的齿轮动力学仿真。 该模型考虑动态啮合角和动态间隙非线性的影响&#xff0c;将扭矩直接作用于齿轮&#xff0c;并定义已知的系统参数&#xff1a;齿数、模数、转动惯量、压力角、转速等&#xff0c;输出齿轮X、Y方向的时变位移及FFT结果&#xff0c;综合变形时域图…...

避坑指南:TDengine开源版taosdump备份恢复,这些性能问题和‘缺口’你得知道

TDengine开源版备份恢复实战&#xff1a;taosdump性能瓶颈与数据缺口深度解析 1. 当开源版遇上生产环境&#xff1a;taosdump的真实表现 去年夏天&#xff0c;我们团队在新能源监控项目中首次尝试用TDengine开源版构建时序数据库集群。当系统运行三个月后&#xff0c;客户突然…...