当前位置： 首页 > news >正文

Kafka 3.0.0集群部署教程

news 2026/2/8 20:32:34

1、集群规划

主机名

ip地址

node.id

process.roles

kafka1

192.168.0.29

1

broker,controller

Kafka2

192.168.0.30

2

broker,controller

Kafka3

192.168.0.31

3

broker,controller

2、将kafka包上传以上节点/app目录下

mkdir /app

3、解压kafka包 所有节点

tar -zxvf kafka_2.13-3.0.0.tgz

4、修改Raft配置文件

cd kafka_2.13-3.0.0

vi config/kraft/server.properties

192.168.0.29机器配置

process.roles=broker,controller

node.id=1

controller.quorum.voters=1@192.168.0.29:9093,2@192.168.0.30:9093,3@192.168.0.31:9093

listeners=PLAINTEXT://192.168.0.29:9092,CONTROLLER://192.168.0.29:9093

advertised.listeners=PLAINTEXT://192.168.0.29:9092

192.168.0.30机器配置

process.roles=broker,controller

node.id=2

controller.quorum.voters=1@192.168.0.29:9093,2@192.168.0.30:9093,3@192.168.0.31:9093

listeners=PLAINTEXT://192.168.0.30:9092,CONTROLLER://192.168.0.30:9093

advertised.listeners=PLAINTEXT://192.168.0.30:9092

192.168.0.31机器配置

process.roles=broker,controller

node.id=3

controller.quorum.voters=1@192.168.0.29:9093,2@192.168.0.30:9093,3@192.168.0.31:9093

listeners=PLAINTEXT://192.168.0.31:9092,CONTROLLER://192.168.0.31:9093

advertised.listeners=PLAINTEXT://192.168.0.31:9092

5、生成一个唯一的集群ID 第一节点

使用bin目录下的kafka-storage.sh工具为你的新集群生成一个唯一的ID

bin/kafka-storage.sh random-uuid

6、格式化存储数据的目录 所有节点

bin/kafka-storage.sh format -t pdw5bp6oSbCxY59UpqR5Ng -c ./config/kraft/server.properties

meta.properties 文件内容

cat /tmp/kraft-combined-logs/meta.properties

7、开放端口  所有节点

sudo firewall-cmd --state

sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent

sudo firewall-cmd --zone=public --add-port=9093/tcp --permanent

sudo firewall-cmd --reload

sudo firewall-cmd --zone=public --list-ports

8、启动 所有节点

bin/kafka-server-start.sh ./config/kraft/server.properties

相关文章：

Kafka 3.0.0集群部署教程

1、集群规划 主机名 ip地址 node.id process.roles kafka1 192.168.0.29 1 broker,controller Kafka2 192.168.0.30 2 broker,controller Kafka3 192.168.0.31 3 broker,controller 2、将kafka包上传以上节点/app目录下 mkdir /app 3、解压kafka包 所有节点 …...

编程日记 2024/9/27 19:39:57

昇思MindSpore进阶教程-格式转换

大家好，我是刘明，明志科技创始人，华为昇思MindSpore布道师。 技术上主攻前端开发、鸿蒙开发和AI算法研究。 努力为大家带来持续的技术分享，如果你也喜欢我的文章，就点个关注吧 MindSpore中可以把用于训练网络模型的数据…...

编程日记 2024/9/27 19:37:55

搜索软件 Everything 的安装与使用教程

一、Everything简介 适用于 Windows 的免费搜索工具 Everything 是 Windows 的即时搜索引擎。发现、整理并轻松访问文件和文件夹，一切尽在指尖！ PS：Everything无法对文件内容进行搜索，只能根据文件名和路径进行搜索 二、Everyt…...

编程日记 2024/9/27 19:36:54

oracle 如何判断当前时间在27号到当月月底

在Oracle中&#xff0c;您可以使用TRUNC和LAST_DAY函数来判断当前时间是否在27号到当月月底之间。以下是一个SQL示例&#xff1a; SELECT CASE WHEN TRUNC(SYSDATE) > TRUNC(SYSDATE, DD) 26 AND TRUNC(SYSDATE) < LAST_DAY(SYSDATE) THEN 当前时间在27号到当月月底之间…...

编程日记 2024/9/27 19:34:52

Django 配置邮箱服务，实现发送信息到指定邮箱

一、这里以qq邮箱为例&#xff0c;打开qq邮箱的SMTP服务 二、django项目目录设置setting.py 文件 setting.py 添加如下内容&#xff1a; # 发送邮件相关配置 EMAIL_BACKEND django.core.mail.backends.smtp.EmailBackend EMAIL_USE_TLS True EMAIL_HOST smtp.qq.com EMAIL…...

编程日记 2024/9/27 19:33:51

Git使用手册

1、初识Git 概述&#xff1a;Git 是一个开源的分布式版本控制系统&#xff0c;可以有效、高速地处理项目版本管理。 知识点补充&#xff1a; 版本控制&#xff1a;一种记录一个或若干文件内容变化&#xff0c;以便将来查阅特定版本修订情况的系统。 分布式&#xff1a;每个人…...

编程日记 2024/9/27 19:32:50

sql-labs靶场

第一关&#xff08;get传参&#xff0c;单引号闭合&#xff0c;有回显&#xff0c;无过滤&#xff09; ?id-1 union select 1,2,(select group_concat(table_name) from information_schema.tables where table_schemasecurity) -- 第二关&#xff08;get传参&#xff0c;无闭…...

编程日记 2024/9/27 19:31:49

【Redis入门到精通二】Redis核心数据类型（String，Hash）详解

目录 Redis数据类型 1.String类型 &#xff08;1&#xff09;常见命令 &#xff08;2&#xff09;内部编码 2.Hash类型 &#xff08;1&#xff09;常见命令 &#xff08;2&#xff09;内部编码 Redis数据类型 查阅Redis官方文档可知&#xff0c;Redis提供给用户的核心数据…...

编程日记 2024/9/27 19:29:46

如何快速免费搭建自己的Docker私有镜像源来解决Docker无法拉取镜像的问题（搭建私有镜像源解决群晖Docker获取注册表失败的问题）

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 Docker无法拉取镜像 📒📒 解决方案 📒🔖 方法一：免费快速搭建自己的Docker镜像源🎈 部署🎈 使用🔖 备用方案⚓️ 相关链接 🚓️📖 介绍 📖 在当前的网络环境下，Docker镜像的拉取问题屡见不鲜（各类Nas查询…...

编程日记 2024/9/27 19:28:45

QT 获取视频帧Opencv获取清晰度

先展示结果&#xff1a; 1.获取摄像头的分辨率 mResSize.clear();mResSize camera_->supportedViewfinderResolutions();ui->comboBox_resulation->clear();int i0;foreach (QSize msize, mResSize) {qDebug()<<msize;ui->comboBox_resulation->addItem(…...

编程日记 2024/9/27 19:27:43

生成式AI如何辅助医药行业智能营销

生成式AI在医药行业的智能营销中发挥着日益重要的作用&#xff0c;它通过多种方式辅助医药企业提升市场洞察能力、优化营销策略、增强客户互动和体验&#xff0c;从而推动销售增长和品牌价值的提升。以下是生成式AI如何辅助医药行业智能营销的具体方式&#xff1a;一、精准市场…...

编程日记 2024/9/27 19:24:39

演示：基于WPF的DrawingVisual开发的Chart图表和表格绘制

一、目的&#xff1a;基于WPF的DrawingVisual开发的Chart图表和表格绘制 二、预览 钻井井轨迹表格数据演示示例&#xff08;应用Table布局&#xff0c;模拟井轨迹深度的绘制&#xff09; 饼图表格数据演示示例&#xff08;应用Table布局&#xff0c;模拟多个饼状图组合显示&am…...

编程日记 2024/9/27 19:23:37

汽车保养BBBBBBBBBBB

小保养就是机油和机滤&#xff0c;4s店比较贵&#xff0c;可以在京东上买机油&#xff0c;可以包安装 极护、磁护 两款机油配方不同&#xff0c;极护系列机油注入液钛配方&#xff0c;拥有特别的油膜自适应能力&#xff0c;在各种形式条件下均能有效减少金属间的直接接触&…...

编程日记 2024/9/27 19:21:35

H3C R4900 G3服务器上配置本地磁盘RAID

首先web登录HDM后，查看本地磁盘 开机后在如下界面中按F10 等待后如下截图：单击“系统安装” 如下截图。默认选择，单击“下一步” 如下RAID配置，选中2个同样大的磁盘，单击“创建” 在跳出界面中，配置为RAID 1,输入需要的...

编程日记 2024/9/27 19:20:35

HBase DDL操作代码汇总(namespace+table CRUD操作)

HBase DDL操作 DDL操作主要是关于命名空间和表格的内容增删改查。 注&#xff1a;如果出现无法连接到zookeeper等的相关错误&#xff0c;可以将以下代码打jar包&#xff0c;在HMaster节点上执行 错误提示&#xff1a; Exception in thread “main” java.net.SocketTimeoutExc…...

编程日记 2024/9/27 19:19:34

关于TCP的基础知识

关于TCP的基础知识 TCP 是 Transmission Control Protocol 的缩写&#xff0c;中文意思是传输控制协议。 TCP 是一种面向连接的、可靠的、基于字节流的传输层通信协议&#xff0c;它位于 OSI 模型的第四层&#xff08;传输层&#xff09;。TCP 协议通过建立连接、维护连接状态、…...

编程日记 2024/9/27 19:17:32

MyBatis 中的类型别名配置详解

目录 1. 什么是类型别名&#xff1f; 2. 类型别名的配置方法 2.1 使用单个标签 2.2 使用标签批量扫描 2.3 使用Alias注解 3. 注意事项 4. 相关知识拓展 4.1 MyBatis的映射文件 4.2 MyBatis的动态SQL 4.3 MyBatis与Spring的整合 4.4 性能优化 5. 结论 在现代Java开发…...

编程日记 2024/9/27 19:16:31

如何提高UI自动化的稳定性

用例层面&#xff1a; 1. 将用例设计成参数化&#xff0c;将测试数据通过参数进行传递 2. 对于一些可能会变化的参数&#xff0c;将其设计成全局变量&#xff0c;减少维护用例的成本 3. 对用例之间避免产生依赖&#xff0c;可以独立执行 框架层面&#xff1a; 1. 使用PO设…...

编程日记 2024/9/27 19:15:30

ubuntu如何开启和关闭图形界面

在Ubuntu中&#xff0c;你可以根据需要开启或关闭图形界面。以下是具体的方法&#xff1a; 关闭图形界面 方法一&#xff1a;使用 systemctl 命令 打开终端。输入以下命令切换到多用户目标&#xff08;相当于关闭图形界面&#xff09;&#xff1a;sudo systemctl set-defaul…...

编程日记 2024/9/27 19:14:28

从博客到ICT社区：深化学习与交流的桥梁

大家好&#xff0c;我是你们熟悉的云途-CloudJourney。在这个信息爆炸的时代&#xff0c;我一直致力于通过博客、公众号等平台&#xff0c;与大家分享关于Linux、K8S、Docker、网络、服务器以及OpenStack等前沿技术的见解与心得。然而&#xff0c;随着交流的深入&#xff0c;我…...

编程日记 2024/9/27 19:11:25

python打卡day49

知识点回顾&#xff1a; 通道注意力模块复习空间注意力模块CBAM的定义 作业&#xff1a;尝试对今天的模型检查参数数目&#xff0c;并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...

编程新知 2026/2/7 5:37:17

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...

编程新知 2026/1/27 5:01:54

分布式增量爬虫实现方案

之前我们在讨论的是分布式爬虫如何实现增量爬取。增量爬虫的目标是只爬取新产生或发生变化的页面&#xff0c;避免重复抓取&#xff0c;以节省资源和时间。 在分布式环境下&#xff0c;增量爬虫的实现需要考虑多个爬虫节点之间的协调和去重。 另一种思路&#xff1a;将增量判…...

编程新知 2026/2/6 1:18:56

【分享】推荐一些办公小工具

1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由&#xff1a;大部分的转换软件需要收费&#xff0c;要么功能不齐全&#xff0c;而开会员又用不了几次浪费钱&#xff0c;借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...

编程新知 2026/1/25 14:40:59

Go语言多线程问题

打印零与奇偶数&#xff08;leetcode 1116&#xff09; 方法1&#xff1a;使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/9/23 8:19:28

Spring AOP代理对象生成原理

代理对象生成的关键类是【AnnotationAwareAspectJAutoProxyCreator】&#xff0c;这个类继承了【BeanPostProcessor】是一个后置处理器 在bean对象生命周期中初始化时执行【org.springframework.beans.factory.config.BeanPostProcessor#postProcessAfterInitialization】方法时…...

编程新知 2026/2/6 22:31:04

Linux基础开发工具——vim工具

文章目录 vim工具什么是vimvim的多模式和使用vim的基础模式vim的三种基础模式三种模式的初步了解 常用模式的详细讲解插入模式命令模式模式转化光标的移动文本的编辑 底行模式替换模式视图模式总结 使用vim的小技巧vim的配置(了解) vim工具 本文章仍然是继续讲解Linux系统下的…...

编程新知 2026/1/31 8:08:10

第14节 Node.js 全局对象

JavaScript 中有一个特殊的对象&#xff0c;称为全局对象&#xff08;Global Object&#xff09;&#xff0c;它及其所有属性都可以在程序的任何地方访问&#xff0c;即全局变量。 在浏览器 JavaScript 中&#xff0c;通常 window 是全局对象&#xff0c; 而 Node.js 中的全局…...

编程新知 2025/11/23 16:36:05

LTR-381RGB-01RGB+环境光检测应用场景及客户类型主要有哪些？

RGB环境光检测 功能&#xff0c;在应用场景及客户类型&#xff1a; 1. 可应用的儿童玩具类型 (1) 智能互动玩具 功能&#xff1a;通过检测环境光或物体颜色触发互动&#xff08;如颜色识别积木、光感音乐盒&#xff09;。 客户参考&#xff1a; LEGO&#xff08;乐高&#x…...

编程新知 2026/2/5 5:41:34

LeetCode第244题_最短单词距离II

LeetCode第244题&#xff1a;最短单词距离II 问题描述 设计一个类&#xff0c;接收一个单词数组 wordsDict&#xff0c;并实现一个方法&#xff0c;该方法能够计算两个不同单词在该数组中出现位置的最短距离。 你需要实现一个 WordDistance 类: WordDistance(String[] word…...

编程新知 2026/1/1 6:24:32