当前位置： 首页 > news >正文

基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

news 2025/8/3 8:25:57

KAFKA基于docker使用KRaft进行集群搭建

环境：已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程

使用基于Zookeeper方式搭建集群教程

kafka-3.8.0版本 并启用SASL认证 教程

搭建kafka-ui可视化工具

192.168.2.91 192.168.2.92 192.168.2.93

一、创建kafka集群节点192.168.2.91

（1）进入kafka/config/
（2）修改server.properties

KRaft模式集群节点

node.id=91

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 第三方服务器访问kafka以及Kraft地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.91:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.91:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

二、创建kafka集群节点192.168.2.92

（1）进入kafka/config/
（2）修改server.properties

KRaft模式集群节点

node.id=92

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

#KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.92:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.92:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
在这里插入图片描述

三、创建kafka集群节点192.168.2.93

（1）进入kafka_2.13-3.8.0_1/config/
（2）修改server.properties

KRaft模式集群节点

node.id=93

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.93:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.93:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

四、配置192.168.2.91节点clientID 其中GuihyzOEQ3ulmBRdr6DVDA是我自己生成的集群ID 可通过UUID的方式自己生成

使用命令进入当前服务器的kafka容器中
（1）docker exec -it 容器ID bash
（2）cd 容器kafka/bin
（3）./kafka-storage.sh format -t GuihyzOEQ3ulmBRdr6DVDA -c …/config/server.properties
（4）重启当前kafka 容器

五、配置192.168.2.92。192.168.2.93节点clientID

内容如 四；

六、验证是否成功

方式一 直接使用命令

进入容器kafka/bin,启动生产者 连接19092端口，发送消息
在这里插入图片描述

进入其他节点的容器kafka/bin,启动消费者 接收19092端口消息，可以看到其他节点发送的消息 该消费者均可接收到
方式二 使用kafka-ui

附录：错误解决

如果遇到这个错误则进入 配置文件中配置 log.dirs 目录进行chmod -R 777 log.dirs设置的目录

相关文章：

基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

KAFKA基于docker使用KRaft进行集群搭建 环境：已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程 使用基于Zookeeper方式搭建集群教程 kafka-3.8.0版本 并启用SASL认证 教程 搭建kafka-ui可视化工具 192.168.2.91 192.168.2.92 192…...

编程日记 2025/2/7 5:30:26

Centos7 安装 RabbitMQ与Erlang

1、下载erlang和rabbitmq wget https://github.com/rabbitmq/erlang-rpm/releases/download/v23.3.4.5/erlang-23.3.4.5-1.el7.x86_64.rpmwget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.9.16/rabbitmq-server-3.9.16-1.el7.noarch.rpm2、安装erlang…...

编程日记 2025/2/7 5:29:24

mybatis-plus的分页查询简单使用

引入依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-spring-boot3-starter</artifactId><version>3.5.5</version></dependency>在yml中配置启动mybatis-plus插件 mybatis-plus:configuration:#…...

编程日记 2025/2/7 5:27:22

剑指 Offer II 014. 字符串中的变位词

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20014.%20%E5%AD%97%E7%AC%A6%E4%B8%B2%E4%B8%AD%E7%9A%84%E5%8F%98%E4%BD%8D%E8%AF%8D/README.md 剑指 Offer II 014. 字符串中的变位词 题目描述 给定两个字符…...

编程日记 2025/2/7 5:26:20

富唯智能复合机器人拓展工业新维度

富唯智能复合机器人是富唯智能倾力打造的一款集高度自动化、智能化和多功能性于一体的机器人。它融合了机械、电子、计算机、传感器等多个领域的前沿技术&#xff0c;通过精密的算法和控制系统&#xff0c;实现了对复杂生产环境的快速适应和高效作业。 富唯智能复合机器人的特点…...

编程日记 2025/2/7 5:24:18

【大数据技术】搭建完全分布式高可用大数据集群（Scala+Spark）

搭建完全分布式高可用大数据集群（Scala+Spark） scala-2.13.16.tgzspark-3.5.4-bin-without-hadoop.tgz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。 注意： 统一约定将软件安装包存放于虚拟机的/softwa…...

编程日记 2025/2/7 5:22:16

solidity高阶 -- 调用接口合约

在区块链开发中&#xff0c;Solidity 是一种广泛使用的智能合约编程语言&#xff0c;而接口合约&#xff08;Interface&#xff09;是 Solidity 中一个非常重要的概念。它为智能合约之间的交互提供了一种标准化的方式&#xff0c;使得合约之间的调用更加灵活、安全且易于管理。…...

编程日记 2025/2/7 5:21:15

若依框架使用（低级）

克隆源码 浏览器搜索若依&#xff0c;选择 RuoYi-Vue RuoYi-Vue RuoYi-Vue 重要的事情说三遍&#xff0c;进入gitee 下面这个页面&#xff08;注意红色框起来的部分&#xff09; 进入Gitee进行下载 我下载的是最新的springboot3 下载好后我们可以选择一个文件夹&#xff0…...

编程日记 2025/2/7 5:20:12

找不到 MSVCP120.dll

msvcr120.dll msvcr120.dll 是 Microsoft Visual C Redistributable 的一部分&#xff0c;属于 Visual Studio 2013&#xff08;VC 12.0&#xff09;的运行时组件。它的重要性取决于你运行的应用程序是否需要它。 重要性 依赖库&#xff1a;如果某个程序是用 Visual Studio 2…...

编程日记 2025/2/7 5:19:10

AI软件栈：LLVM分析（三）

LLVM IR 文章目录 CFG线性IR 主要采用CFG与线性IR组合描述 CFG *关键在于基本块&#xff08;Basic Block&#xff09;的定义 线性IR *关键来自于SSA&#xff0c;单静态赋值...

编程日记 2025/2/7 5:18:07

openwebui入门

1 简介 ‌Open WebUI‌&#xff08;网址是openwebui.com&#xff09;是一个高度可扩展、功能强大且用户友好的自托管Web用户界面&#xff0c;专为完全离线操作设计&#xff0c;编程语言是python。它支持对接Ollama和OpenAI兼容的API的大模型。‌ Open WebUI‌在架构上是一种中…...

编程日记 2025/2/7 5:16:05

Spark--如何理解RDD

1、概念 rdd是对数据集的逻辑表示&#xff0c;本身并不存储数据&#xff0c;只是封装了计算逻辑&#xff0c;并构建执行计划&#xff0c;通过保存血缘关系来记录rdd的执行过程和历史&#xff08;当一个rdd需要重算时&#xff0c;系统会根据血缘关系追溯到最初的数据源&#xff…...

编程日记 2025/2/7 5:14:03

CTFSHOW-WEB入门-PHP特性89-100

题目&#xff1a;web 89 题目&#xff1a;解题思路&#xff1a;这道题目涉及了两个函数&#xff1a;preg_match&#xff08;&#xff09;和intval&#xff08;&#xff09;简要介绍一下两个函数 preg_match&#xff08;&#xff09;用于对字符串进行正则表达式的匹配&#xff0…...

编程日记 2025/2/7 5:06:55

[250204] Mistral Small 3：小巧、快速、强大 | asdf 0.16.0 发布：Golang 重写带来性能飞跃

目录 Mistral AI 发布开源模型 Mistral Small 3&#xff1a;小巧、快速、强大asdf 0.16.0 版本发布&#xff1a;Golang 重写带来性能飞跃&#xff01; Mistral AI 发布开源模型 Mistral Small 3&#xff1a;小巧、快速、强大 法国人工智能初创公司 Mistral AI 发布了最新的开源…...

编程日记 2025/2/7 5:01:46

PySpark学习笔记5-SparkSQL

sparkSql的数据抽象有两种。 一类是data set适用于java和Scala 一类是data frame适用于java&#xff0c;Scala&#xff0c;python 将r d d转换为data frame #方式一 df spark.createDataFrame(rdd,schema[name,age]) #方式二 schema Structtype(). add(id,integertype(),nu…...

编程日记 2025/2/7 4:53:38

windows版的docker如何使用宿主机的GPU

windows版的docker使用宿主机的GPU的命令 命令如下 docker run -it --nethost --gpus all --name 容器名 -e NVIDIA_DRIVER_CAPABILITIEScompute,utility -e NVIDIA_VISIBLE_DEVICESall 镜像名效果 (transformer) rootdocker-desktop:/# python Python 3.9.0 (default, Nov 15 …...

编程日记 2025/2/7 4:45:30

Python爬虫：1药城店铺爬虫（完整代码）

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ &#x1f434;作者&#xff1a;秋无之地 &#x1f434;简介&#xff1a;CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作&#xff0c;主要擅长领域有&#xff1a;爬虫、后端、大数据…...

编程日记 2025/2/7 4:44:26

代码随想录算法训练营打卡第55天：并查集相关问题；

Java并查集的模板 //并查集模板 class DisJoint{private int[] father;public DisJoint(int N) {father new int[N];for (int i 0; i < N; i){father[i] i;}}public int find(int n) {return n father[n] ? n : (father[n] find(father[n]));}public void join (int …...

编程日记 2025/2/7 4:41:23

K8S学习笔记-------1.安装部署K8S集群环境

1.修改为root权限 #sudo su 2.修改主机名 #hostnamectl set-hostname k8s-master01 3.查看网络地址 sudo nano /etc/netplan/01-netcfg.yaml4.使网络配置修改生效 sudo netplan apply5.修改UUID&#xff08;某些虚拟机系统&#xff0c;需要设置才能生成UUID&#xff09;#…...

编程日记 2025/2/7 4:34:12

云原生周刊：K8s引领潮流

开源项目推荐 KWOK KWOK&#xff08;Kubernetes WithOut Kubelet&#xff09;是一个开源项目&#xff0c;旨在提供一个轻量级的 K8s 集群模拟环境&#xff0c;允许用户在不依赖真实节点的情况下&#xff0c;本地模拟整个 K8s 集群。它通过模拟 Kubelet 和其他集群组件的行为&…...

编程日记 2025/2/7 4:33:11

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站&#xff0c;会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后&#xff0c;网站没有变化的情况。 不熟悉siteground主机的新手&#xff0c;遇到这个问题&#xff0c;就很抓狂&#xff0c;明明是哪都没操作错误&#x…...

编程新知 2025/8/2 17:04:40

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…...

编程新知 2025/8/2 19:35:00

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2025/8/2 6:49:29

DAY 47

三、通道注意力 3.1 通道注意力的定义 # 新增&#xff1a;通道注意力模块&#xff08;SE模块&#xff09; class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

编程新知 2025/8/3 2:32:23

【机器视觉】单目测距——运动结构恢复

ps&#xff1a;图是随便找的&#xff0c;为了凑个封面 前言 在前面对光流法进行进一步改进&#xff0c;希望将2D光流推广至3D场景流时&#xff0c;发现2D转3D过程中存在尺度歧义问题&#xff0c;需要补全摄像头拍摄图像中缺失的深度信息&#xff0c;否则解空间不收敛&#xf…...

编程新知 2025/8/3 6:58:56

【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例

文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...

编程新知 2025/7/31 8:29:29

工程地质软件市场：发展现状、趋势与策略建议

一、引言 在工程建设领域&#xff0c;准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具&#xff0c;正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...

编程新知 2025/6/17 23:10:20

反射获取方法和属性

Java反射获取方法 在Java中&#xff0c;反射&#xff08;Reflection&#xff09;是一种强大的机制&#xff0c;允许程序在运行时访问和操作类的内部属性和方法。通过反射&#xff0c;可以动态地创建对象、调用方法、改变属性值&#xff0c;这在很多Java框架中如Spring和Hiberna…...

编程新知 2025/7/5 23:14:36

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学&#xff08;ECC&#xff09;是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础&#xff0c;例如椭圆曲线数字签…...

编程新知 2025/8/1 22:22:38

Kafka入门-生产者

生产者 生产者发送流程&#xff1a; 延迟时间为0ms时&#xff0c;也就意味着每当有数据就会直接发送 异步发送API 异步发送和同步发送的不同在于&#xff1a;异步发送不需要等待结果&#xff0c;同步发送必须等待结果才能进行下一步发送。 普通异步发送 首先导入所需的k…...

编程新知 2025/8/2 20:17:14