kafka3.6.0集群部署
环境准备
-
机器环境
系统 主机名 IP地址 centos7.9 kafka01 192.168.200.51 centos7.9 kafka02 192.168.200.52 centos7.9 kafka03 192.168.200.53 -
所需软件
jdk-8u171-linux-x64.tar.gzapache-zookeeper-3.8.3-bin.tar.gz https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gzkafka_2.13-3.6.0.tgz https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz -
hosts设置
192.168.200.51 kafka01 192.168.200.52 kafka02 192.168.200.53 kafka03 -
java环境设置
mkdir /data/java ln -s /data/java/ /opt/ cd /opt/java tar -zxvf jdk-8u171-linux-x64.tar.gz -C /opt/java/cat /etc/profile.d/java.sh #java export JAVA_HOME=/opt/java/jdk1.8.0_171 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHsource /etc/profile java -version
zookeeper安装部署
-
创建软件安装目录
mkdir /data/server -
解压安装
tar -zxvf apache-zookeeper-3.8.3-bin.tar.gz -C /data/server/ ln -s /data/server/apache-zookeeper-3.8.3-bin/ /data/server/zookeeper# 创建zookeeper数据存储目录 mkdir /data/server/zookeeper/zkData# 创建zookeeper标识文件 echo '1' > /data/server/zookeeper/zkData/myid -
修改配置
cp /data/server/zookeeper/zoo_sample.cfg /data/server/zookeeper/zoo.cfgvim /data/server/zookeeper/zoo.cfg # 修改数据存储目录 dataDir=/data/server/zookeeper/zkData # 添加下列集群配置 server.1=kafka01:2888:3888 server.2=kafka02:2888:3888 server.3=kafka03:2888:3888 -
分发软件
# 分发软件至kafka02 scp -r /data/server/apache-zookeeper-3.8.3-bin/ kafka02:/data/server/# 分发软件至kafka03 scp -r /data/server/apache-zookeeper-3.8.3-bin/ kafka03:/data/server/ -
kafka02与kafka03软链接
ln -s /data/server/apache-zookeeper-3.8.3-bin/ /data/server/zookeeper -
kafka02与kafka03修改myid
# kafka02修改myid echo '2' > /data/server/zookeeper/zkData/myid# kafka03修改myid echo '3' > /data/server/zookeeper/zkData/myid -
防火墙放行端口
firewall-cmd --zone=public --permanent --add-port={2181,2888,3888}/tcp firewall-cmd --reload -
设置开机自启
vim /etc/systemd/system/zookeeper.service[Unit] Description=zookeeper service After=network.target[Service] User=root Group=root Type=forking Environment="JAVA_HOME=/opt/java/jdk1.8.0_171" ExecStart=/data/server/zookeeper/bin/zkServer.sh start ExecStop=/data/server/zookeeper/bin/zkServer.sh stop PrivateTmp=false Restart=always[Install] WantedBy=multi-user.targetsystemctl daemon-reload systemctl start zookeeper systemctl enable zookeeper -
zookeeper状态查看
-
kafka01
[root@kafka01 ~]# jps 4049 Jps 3899 QuorumPeerMain[root@kafka01 ~]# /data/server/zookeeper/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /data/server/zookeeper/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: follower -
kafka02
[root@kafka02 zookeeper]# jps 2705 QuorumPeerMain 2920 Jps[root@kafka02 zookeeper]# /data/server/zookeeper/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /data/server/zookeeper/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: follower -
kafka03
[root@kafka03 zookeeper]# jps 3187 Jps 3030 QuorumPeerMain[root@kafka03 ~]# /data/server/zookeeper/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /data/server/zookeeper/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: leader
-
kafka安装部署
-
解压安装
tar -zxvf kafka_2.13-3.6.0.tgz -C /data/server/ ln -s /data/server/kafka_2.13-3.6.0/ /data/server/kafka -
修改配置
vim /data/server/kafka/config/server.properties broker.id=0 # 日志目录 log.dirs=/data/server/kafka/kafka-logs# zookeeper连接地址及目录 zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181/kafka -
分发软件
# 分发软件至kafka02 scp -r /data/server/kafka_2.13-3.6.0/ kafka02:/data/server/分发软件至kafka03 scp -r /data/server/kafka_2.13-3.6.0/ kafka03:/data/server/ -
kafka02与kafka03软链接
ln -s /data/server/kafka_2.13-3.6.0/ /data/server/kafka -
修改kafka02和kafka03的broker.id
vim /data/server/kafka/config/server.properties# kafka02 broker.id=1# kafka03 broker.id=2 -
防火墙放行端口
firewall-cmd --zone=public --permanent --add-port=9092/tcp firewall-cmd --reload -
开机自启
vim /etc/systemd/system/kafka.service[Unit] Description=kafka service After=network.target[Service] User=root Group=root Type=forking Environment="JAVA_HOME=/opt/java/jdk1.8.0_171" ExecStart=/data/server/kafka/bin/kafka-server-start.sh -daemon /data/server/kafka/config/server.properties ExecStop=/data/server/kafka/bin/kafka-server-stop.sh PrivateTmp=false Restart=always[Install] WantedBy=multi-user.targetsystemctl daemon-reload systemctl start kafka systemctl enable kafka -
最终效果
-
kafka01
[root@kafka01 ~]# jps 5444 Kafka 8661 Jps 3899 QuorumPeerMain -
kafka02
[root@kafka02 ~]# jps 2705 QuorumPeerMain 3538 Jps 3373 Kafka -
kafka03
[root@kafka03 ~]# jps 3668 Kafka 3030 QuorumPeerMain 3896 Jps
-
相关文章:
kafka3.6.0集群部署
环境准备 机器环境 系统主机名IP地址centos7.9kafka01192.168.200.51centos7.9kafka02192.168.200.52centos7.9kafka03192.168.200.53 所需软件 jdk-8u171-linux-x64.tar.gzapache-zookeeper-3.8.3-bin.tar.gz https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zook…...
JAVA客户端使用账号密码调用influxdb2报错:{“code“:“unauthorized“,“message“:“Unauthorized“}
问题:JAVA客户端访问influxdb2报错 说明:当前influxdb版本:2.6.1 使用依赖: <dependency><groupId>org.influxdb</groupId><artifactId>influxdb-java</artifactId><version>2.10</vers…...
Mysql查询今天到期、n天即将到期、还有n天过期相关sql
超级治愈的一段话 其实你已经很幸福了,吃饱穿暖,没病没灾,隔三岔五还能吃顿好的,偶尔还能睡到自然醒,肥嘟嘟的一身福气。人这一辈子,要是能够逃过天灾,躲过战乱,不遇歹人,不生大病,就已经是非常幸运了,要是还能家庭和谐,收人稳定,三五知己,那更是天大的福泽。 -…...
【漏洞复现】Apache Log4j Server 反序列化命令执行漏洞(CVE-2017-5645)
感谢互联网提供分享知识与智慧,在法治的社会里,请遵守有关法律法规 文章目录 1.1、漏洞描述1.2、漏洞等级1.3、影响版本1.4、漏洞复现1、基础环境2、漏洞扫描3、漏洞验证 1.5、深度利用1、反弹Shell 说明内容漏洞编号CVE-2017-5645漏洞名称Log4j Server …...
【江协科技-用0.96寸OLED播放知名艺人打篮球视频】
Python进行视频图像处理,通过串口发送给stm32,stm32接收数据,刷新OLED进行显示。 步骤: 1.按照接线图连接好硬件 2.把Keil工程的代码下载到STM32中 3.运行Python代码,通过串口把处理后的数据发送给STM32进行显示 …...
CATIA环境编辑器用不了时创建项目快捷方式
CATIA环境编辑器用不了时创建项目快捷方式 一、参考适用情况示例二、 解决步骤(一) 先正确放置winb_64部署包(二) 添加环境文件(三) 修改加入的环境文件(四) 复制本机CATIA快捷方式后重命名(五) 修改快捷方式目标的值 一、参考适用情况示例 二、 解决步骤 (一) 先正确放置winb…...
java泛型的深入 泛型还可以在很多地方进行定义 泛型类 泛型方法 泛型接口 泛型的继承和通配符 泛型类练习
文章目录 泛型的深入泛型还可以在很多地方进行定义泛型类泛型方法泛型接口 泛型的继承和通配符泛型类练习总结 泛型的深入 public static void main(String[] args) {//在没有泛型的时候怎么存储数据ArrayList listnew ArrayList();list.add(1);list.add("abc");//遍…...
持续交付的好处
在软件领域,持续交付就是这样一种开发实践,它为所有利益相关者带来好处:开发、运营、测试人员和业务团队。持续交付适用于每个由软件驱动的组织;很难想象企业不使用软件。 它使人们受益,并需要人们做出改变才能更好地…...
APP开发:用途与未来前景|软件定制开发|网站小程序建设
APP开发:用途与未来前景|软件定制开发|网站小程序建设 APP开发已成为现代科技趋势的一部分,无论是日常生活还是商业领域,都有它的身影。通过开发APP,我们可以将想法、功能和内容转化为直观、易用的移动设备应用程序,满…...
图论——并查集
参考内容: 图论——并查集(详细版) 并查集(Disjoint-set)是一种精巧的树形数据结构,它主要用于处理一些不相交集合的合并及查询问题。一些常见用途,比如求联通子图、求最小生成树的 Kruskal 算法和求最近公共祖先&…...
计算机毕业设计java+vue+springboot的论坛信息网站
项目介绍 本论文系统地描绘了整个网上论坛管理系统的设计与实现,主要实现的功能有以下几点:管理员;首页、个人中心、用户管理、公告管理、公告类型管理、热门帖子管理、帖子分类管理、留言板管理、论坛新天地、我的收藏管理、系统管理&#…...
.net core添加SQL日志输出
GreDbContext : Microsoft.EntityFrameworkCore.DbContext 下添加 public static readonly ILoggerFactory MyLoggerFactory LoggerFactory.Create(builder > { builder.AddConsole(); }); protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder…...
虚幻5.1 常见的效果关闭方式
常见的虚幻效果关闭方式 1.Bloom ProjectSettings->Rendering->Default Settings->Bloom PostProcessVolume->Lens->Bloom 2.Ambient Occlusion/Screen Space Ambient Occlusion(SSAO) ProjectSettings->Rendering->Default Settings->Ambient Occl…...
每日一题 --- 力扣318----最大单词长度乘积
这道题时间复杂度我感觉设置的不是很好,应该最好是有一个1000变成10000就行。 因为我在做这道题的时候被误导了,以为双重循环暴力判断一下也能过,因为1000*1000 *26的时间复杂度没有到1亿,那么我刚开始认为是能过的,结…...
掌动智能性能压力测试优势有哪些
企业通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。本文将介绍性能压力测试的价值及主要优势! 一、性能压力测试的价值 1、评估系统能力:有助于参数的基准测试,可以度量系统的响应时间;还有助于检查系统是否可…...
虚拟机没有桥接模式--物理机WiFi不见了--注册表修复
我们知道虚拟机有三种模式: vmnet0 桥接模式;vmnet1 仅主机模式;vmnet8 NAT模式 我自己以前一直用的NAT模式,今天突然要用到桥接模式,发现无法切换... 我下面这个是后面弄好了的,最开始是没有显示桥接模式…...
【Python】批量下载素材酷视频资源
【需求】 做视频精彩需要用到梗图视频等,但是素材酷上面的视频没有搜索功能,每次用起来还要去下载也很麻烦,下载只能一个一个下载也很麻烦,下要搞一个能够批量下载的功能,然后把下载的资源全部放进万兴喵影编辑器的云空间,这样就可以做到随做随查随用了。 【效果】 目…...
QuantLib学习笔记——一个简单的价值估算案例
⭐️ 前言 QuantLib很强大,它实现了很多金融工具及其价值估算方法,从最简单的折现模型,到利用BSM模型对期权进行定价,覆盖面相当齐全。本文以一个简单的净现值估算案例,开启笔者金融工具估值的旅程。 开上豪车&#…...
智能语音和自然语言处理技术
一、定义 智能语音和自然语言处理技术是指通过计算机技术实现人机交互的一种技术。它可以让计算机和人类之间进行自然而流畅的交流,从而实现更高效、更便捷、更智能的信息交流和处理。 智能语音和自然语言处理技术主要包括语音识别、语音合成、自然语言理解、自然…...
【Sql】sql server数据库提示:执行Transact-SQL语句或批处理时发生了异常。 无法打开数据库msdb,错误:926。
【问题描述】 打开sql server2008r2数据库的时候, 系统提示执行Transact-SQL语句或批处理时发生了异常。 无法打开数据库msdb,错误:926。 【概念理解】 首先MSDB数据库是的作用: 用于给SQL Server代理提供必要的信息来运行调度警…...
k8s从入门到放弃之Ingress七层负载
k8s从入门到放弃之Ingress七层负载 在Kubernetes(简称K8s)中,Ingress是一个API对象,它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress,你可…...
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...
对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验,以及大语言模型的分析能力,我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际,我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测,聊作存档。等到明…...
自然语言处理——循环神经网络
自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元(GRU)长短期记忆神经网络(LSTM)…...
使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台
🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型(LLM)的广泛应用,开发者常面临多个挑战: 各大模型(OpenAI、Claude、Gemini、Ollama)接口风格不统一;缺乏一个统一平台进行模型调用与测试;本地模型 Ollama 的集成与前…...
Android第十三次面试总结(四大 组件基础)
Activity生命周期和四大启动模式详解 一、Activity 生命周期 Activity 的生命周期由一系列回调方法组成,用于管理其创建、可见性、焦点和销毁过程。以下是核心方法及其调用时机: onCreate() 调用时机:Activity 首次创建时调用。…...
DingDing机器人群消息推送
文章目录 1 新建机器人2 API文档说明3 代码编写 1 新建机器人 点击群设置 下滑到群管理的机器人,点击进入 添加机器人 选择自定义Webhook服务 点击添加 设置安全设置,详见说明文档 成功后,记录Webhook 2 API文档说明 点击设置说明 查看自…...
MySQL 8.0 事务全面讲解
以下是一个结合两次回答的 MySQL 8.0 事务全面讲解,涵盖了事务的核心概念、操作示例、失败回滚、隔离级别、事务性 DDL 和 XA 事务等内容,并修正了查看隔离级别的命令。 MySQL 8.0 事务全面讲解 一、事务的核心概念(ACID) 事务是…...
MacOS下Homebrew国内镜像加速指南(2025最新国内镜像加速)
macos brew国内镜像加速方法 brew install 加速formula.jws.json下载慢加速 🍺 最新版brew安装慢到怀疑人生?别怕,教你轻松起飞! 最近Homebrew更新至最新版,每次执行 brew 命令时都会自动从官方地址 https://formulae.…...
【学习笔记】erase 删除顺序迭代器后迭代器失效的解决方案
目录 使用 erase 返回值继续迭代使用索引进行遍历 我们知道类似 vector 的顺序迭代器被删除后,迭代器会失效,因为顺序迭代器在内存中是连续存储的,元素删除后,后续元素会前移。 但一些场景中,我们又需要在执行删除操作…...
