当前位置: 首页 > news >正文

Windows使用docker desktop 安装kafka、zookeeper集群

docker-compose安装zookeeper集群

参考文章:http://t.csdn.cn/TtTYI

https://blog.csdn.net/u010416101/article/details/122803105?spm=1001.2014.3001.5501

准备工作:

​ 在开始新建集群之前,新建好文件夹,用来挂载kafka、zookeeper数据,如下:
zookeeper文件夹

D:\soft\docker\zookeeper\zoo1\data
D:\soft\docker\zookeeper\zoo1\datalog

D:\soft\docker\zookeeper\zoo2\data
D:\soft\docker\zookeeper\zoo2\datalog

D:\soft\docker\zookeeper\zoo3\data
D:\soft\docker\zookeeper\zoo3\datalog

kafka文件夹

D:\soft\docker\kafka\kafka1\data
D:\soft\docker\kafka\kafka2\data
D:\soft\docker\kafka\kafka3\data

image-20230806214058741 image-20230806214143307

image-20230806214255332 image-20230806214228248

1、下载zk镜像

docker pull zookeeper:3.6.3

image-20230806164624161

2、创建docker网络

docker network create zk-net

image-20230806165135181

3、创建zk集群

yml文件路径:D:\soft\docker\docker-compose-zookeeper-cluster.yml

yml文件内容:

version: '2'networks:zk-net:external:name: zk-netservices:zoo1:image: 'zookeeper:3.6.3'container_name: zoo1hostname: zoo1environment:ZOO_MY_ID: 1ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181ALLOW_ANONYMOUS_LOGIN: "yes"networks:- zk-netports:- 2181:2181- 8081:8080volumes:- /D/soft/docker/zookeeper/zoo1/data:/data- /D/soft/docker/zookeeper/zoo1/datalog:/datalogzoo2:image: 'zookeeper:3.6.3'container_name: zoo2hostname: zoo2environment:ZOO_MY_ID: 2ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=zoo3:2888:3888;2181ALLOW_ANONYMOUS_LOGIN: "yes"networks:- zk-netports:- 2182:2181- 8082:8080volumes:- /D/soft/docker/zookeeper/zoo2/data:/data  - /D/soft/docker/zookeeper/zoo2/datalog:/datalog  zoo3:image: 'zookeeper:3.6.3'container_name: zoo3hostname: zoo3environment:ZOO_MY_ID: 3ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181ALLOW_ANONYMOUS_LOGIN: "yes"networks:- zk-netports:- 2183:2181- 8083:8080volumes:- /D/soft/docker/zookeeper/zoo3/data:/data  - /D/soft/docker/zookeeper/zoo3/datalog:/datalog   

4、docker-compose启动、停止(指定配置文件)

docker-compose -f D:\soft\docker\docker-compose-zookeeper-cluster.yml up -d

启动成功:

image-20230806172731215

image-20230806174412849

指定配置文件停止

docker-compose -f D:\soft\docker\docker-compose-zookeeper-cluster.yml stop

docker-compose安装Kafka集群

参考文章:https://blog.csdn.net/u010416101/article/details/122916190

1、下载kafka镜像

docker pull bitnami/kafka:2.7.0

2、创建网络

因为上面zk创建过了,这里不需要再创建

3、创建kafka集群

文件路径:D:\soft\docker\docker-compose-kafka-cluster.yml

文件内容:

version: "3"networks:zk-net:external:name: zk-netservices:kafka01:image: 'bitnami/kafka:2.7.0'restart: always    container_name: kafka01hostname: kafka01ports:- '9092:9092'environment:- KAFKA_BROKER_ID=1- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:9092- KAFKA_CFG_ZOOKEEPER_CONNECT=zoo1:2181,zoo2:2181,zoo3:2181- ALLOW_PLAINTEXT_LISTENER=yesvolumes:- /D/soft/docker/kafka/kafka1:/bitnami/kafka     networks:- zk-netkafka02:image: 'bitnami/kafka:2.7.0'restart: always       container_name: kafka02hostname: kafka02ports:- '9093:9092'environment:- KAFKA_BROKER_ID=2- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka02:9092- KAFKA_CFG_ZOOKEEPER_CONNECT=zoo1:2181,zoo2:2181,zoo3:2181- ALLOW_PLAINTEXT_LISTENER=yesvolumes:- /D/soft/docker/kafka/kafka2:/bitnami/kafka       networks:- zk-netkafka03:image: 'bitnami/kafka:2.7.0'restart: always       container_name: kafka03hostname: kafka03ports:- '9094:9092'environment:- KAFKA_BROKER_ID=3- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092    - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka03:9092- KAFKA_CFG_ZOOKEEPER_CONNECT=zoo1:2181,zoo2:2181,zoo3:2181- ALLOW_PLAINTEXT_LISTENER=yesvolumes:- /D/soft/docker/kafka/kafka3:/bitnami/kafka   networks:- zk-net

4、docker-compose启动、停止(指定配置文件)

docker-compose -f D:\soft\docker\docker-compose-kafka-cluster.yml up -d

kafka启动的时候,没有成功,后面参考了这篇文章:https://www.cnblogs.com/mihutao/p/16664588.html

如果kafka连接不上zookeeper,使用下面的命令加入zk-net网络:

docker network connect zk-net kafka01
docker network connect zk-net kafka02
docker network connect zk-net kafka03

重启:

docker-compose -f D:\soft\docker\docker-compose-zookeeper-cluster.yml restart
docker-compose -f D:\soft\docker\docker-compose-kafka-cluster.yml restart

由于kafka一直在自动重启,需要查看日志,docker查看容器日志:

docker logs a679f5a4a1d4

image-20230806214425867

相关文章:

Windows使用docker desktop 安装kafka、zookeeper集群

docker-compose安装zookeeper集群 参考文章:http://t.csdn.cn/TtTYI https://blog.csdn.net/u010416101/article/details/122803105?spm1001.2014.3001.5501 准备工作: ​ 在开始新建集群之前,新建好文件夹,用来挂载kafka、z…...

11 | 苹果十年财报分析

在本文中,我们将对苹果公司的财务报告进行深入分析,关注其销售收入、利润情况以及关键产品线的表现。我们将研究财报中的数据,挖掘背后的商业策略和市场动态,以便更好地了解苹果公司在不同市场环境下的业绩表现。通过对财报数据的解读和分析,我们将探讨苹果公司在竞争激烈…...

Zookeeper与Redis 对比

1. 为什么使用分布式锁? 使用分布式锁的目的,是为了保证同一时间只有一个 JVM 进程可以对共享资源进行操作。 根据锁的用途可以细分为以下两类: 1、 允许多个客户端操作共享资源,我们称为共享锁。 这种锁的一般是对共享资源具有幂…...

跨境商城服务平台搭建与开发(金融服务+税务管理)

随着全球电子商务的快速发展,跨境贸易已经成为一种新的商业趋势。在这个背景下,搭建一个跨境商城服务平台,提供金融服务、税务管理等一系列服务,可以极大地促进跨境贸易的发展。本文将详细阐述跨境商城服务平台搭建与开发的步骤。…...

docker配置文件

/etc/docker/daemon.json 文件作用 /etc/docker/daemon.json 文件是 Docker 配置文件,用于配置 Docker 守护进程的行为和参数。Docker 守护进程是负责管理和运行 Docker 容器的后台进程,通过修改 daemon.json 文件,可以对 Docker 守护进程进…...

Mysql数据库之单表查询

目录 一、练习时先导入数据如下: 二、查询验证导入是否成功 三、单表查询 四、where和having的区别 一、练习时先导入数据如下: 素材: 表名:worker-- 表中字段均为中文,比如 部门号 工资 职工号 参加工作 等 CRE…...

macos搭建appium-iOS自动化测试环境

目录 准备工作 安装必需的软件 安装appium 安装XCode 下载WDA工程 配置WDA工程 搭建appiumwda自动化环境 第一步:启动通过xcodebuild命令启动wda服务 分享一下如何在mac电脑上搭建一个完整的appium自动化测试环境 准备工作 前期需要准备的设备和账号&…...

日常工具 之 一些 / 方便好用 / 免费 / 在线 / 工具整理

日常工具 之 一些 / 方便好用 / 免费 / 在线 / 工具整理 目录 日常工具 之 一些 / 方便好用 / 免费 / 在线 / 工具整理 1、在线Json ,可以在线进行json 格式验证,解析转义等操作 2、Gif动图分解,在线把 gif 图分解成一张张单图 3、在线P…...

AWS 中文入门开发教学 50- S3 - 网关终端节点 - 私有网络访问S3的捷径

知识点 通过设置网关终端节点,使私有网段中的EC2也可以访问到S3服务官网 https://docs.aws.amazon.com/zh_cn/codeartifact/latest/ug/create-s3-gateway-endpoint.html 实战演习 通过网关访问S3 看图说话"> 实战步骤 创建一个可以访问S3的角色 KomaRoleS3FullAcc…...

windows使用/服务(13)戴尔电脑怎么设置通电自动开机

戴尔pc机器通电自启动 1、将主机显示器键盘鼠标连接好后,按主机电源键开机 2、在开机过程中按键盘"F12",进入如下界面,选择“BIOS SETUP” 3、选择“Power Management” 4、选择“AC Recovery”,点选“Power On”,点击“…...

Leetcode每日一题:1289. 下降路径最小和 II(2023.8.10 C++)

目录 1289. 下降路径最小和 II 题目描述: 实现代码与解析: 动态规划 原理思路: 1289. 下降路径最小和 II 题目描述: 给你一个 n x n 整数矩阵 grid ,请你返回 非零偏移下降路径 数字和的最小值。 非零偏移下降路…...

Node.js |(一)Node.js简介及计算机基础 | 尚硅谷2023版Node.js零基础视频教程

学习视频:尚硅谷2023版Node.js零基础视频教程,nodejs新手到高手 文章目录 📚关于Node.js🐇为什么要学Node.js🐇Node.js是什么🐇Node.js的作用🐇Node.js下载安装🐇命令行工具&#x1…...

Canal+Kafka实现Mysql数据同步

Canal介绍 canal [kənl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费 canal可以用来监控数据库数据的变化,从而获得新增数据,或者修改的数据。 canal是应阿里巴巴存在杭…...

K8s部署

K8s部署 一、实验架构 二进制搭建 Kubernetes v1.20 -单master节点部署k8s集群master01:192.168.111.10 kube-apiserver kube-controller-manager kube-scheduler etcd k8s集群master02:192.168.111.20k8s集群node01:192.168.111.20 kubele…...

MongoDB 分片集群

在了解分片集群之前,务必要先了解复制集技术! 1.1 MongoDB复制集简介 一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性,这是生产部署的基础。 1.1.1 复制集…...

CSDN 编程竞赛六十九期题解

竞赛总览 CSDN 编程竞赛六十九期:比赛详情 (csdn.net) 竞赛题解 题目1、S数 如果一个正整数自身是回文数,而且它也是一个回文数的平方,那么我们称这个数为S数。现在,给定两个正整数L、R,返回包含在范围 [L, R] 中S…...

vue3组合式api单文件组件写法

一&#xff0c;模板部分 <template><div class"device container"><breadcrumb :list"[首页, 应急处置]" /><div class"search_box"><div class"left"><span style"margin-right: 15px"…...

Unity游戏源码分享-多角色fps射击游戏

Unity游戏源码分享-多角色fps射击游戏 项目地址&#xff1a;https://download.csdn.net/download/Highning0007/88204023...

在Cesium中给管道添加水流效果

添加效果前后对比&#xff1a; 关键代码&#xff1a; /*** 水流粒子&#xff0c;目前支持向上或者向下的效果* param {Number} x* param {Number} y* param {Number} z* param {Number} options* example* options {* color: Cesium.Color.AZURE,* emissionRate: 5, …...

测试平台——项目模块模型类设计

这里写目录标题 一、项目应用1、项目包含接口:2、创建子应用3、项目模块设计a、模型类设计b、序列化器类设计c、视图类设计d、项目的增删改查操作4、接口模块设计a、模型类设计b、序列化器类设计c、视图类设计d、接口的增删改查查操作5、环境模块设计a、模型类设计b、序列化器…...

LeetCode 删除无效的括号:python 题解匆

这个代码的核心功能是&#xff1a;基于输入词的长度动态选择反义词示例&#xff0c;并调用大模型生成反义词&#xff0c;体现了 “动态少样本提示&#xff08;Dynamic Few-Shot Prompting&#xff09;” 与 “上下文长度感知的示例选择” 的能力。 from langchain.prompts impo…...

SmartComm:零堆内存的嵌入式命令通信框架

1. SmartComm 嵌入式设备间通信库深度解析SmartComm 是一个专为资源受限嵌入式系统设计的轻量级、零堆内存依赖的设备间命令通信框架。它不依赖动态内存分配&#xff08;malloc/free&#xff09;&#xff0c;全部对象生命周期由栈管理&#xff0c;适用于 STM32F0/F1/F4、ESP32、…...

008、对话链实战:调试一个“失忆”的智能对话助手

008、对话链实战&#xff1a;调试一个“失忆”的智能对话助手 昨天在调试一个基于LangChain的客服原型时&#xff0c;遇到了一个典型问题&#xff1a;每次用户问“我刚才说了什么&#xff1f;”&#xff0c;助手都回答“我不知道您之前说了什么”。这暴露了对话链最核心的问题—…...

嵌入式轻量HTTP客户端设计与物联网数据上报实践

1. 项目概述 HTTPClient-Xively 是一个面向嵌入式平台的轻量级 HTTP 客户端实现&#xff0c;专为 mbed OS 网络栈设计&#xff0c;核心目标是与 Xively 平台&#xff08;现已被 Google Cloud IoT Core 收购并逐步停用&#xff0c;但其 REST API 设计范式仍具典型工程参考价值&a…...

三维点云障碍物检测与聚类算法对比实现

三维点云障碍物检测与聚类算法对比实现 项目概述 本项目实现了一个完整的三维点云障碍物检测系统,集成了K-means和DBSCAN两种经典聚类算法,并对它们的性能进行了对比分析。系统包含点云数据生成、预处理、聚类检测、结果可视化和性能评估等模块。代码设计遵循模块化原则,注…...

支付密钥硬编码、调试模式未关闭、日志泄露token——PHP生产环境支付接口的3大“自杀式配置”

第一章&#xff1a;支付接口安全配置的致命认知误区许多开发者将“启用HTTPS”等同于“支付接口已安全”&#xff0c;却忽视了服务端密钥管理、签名验证逻辑与回调校验机制的根本性缺陷。这种简化式安全观&#xff0c;恰恰是黑产批量盗刷和中间人劫持事件频发的核心诱因。误信客…...

案例分析:学术文献综述 Agent Harness

案例分析&#xff1a;学术文献综述 Agent Harness——从手动“文献堆沙”到智能“知识城堡”的AI构建器关键词&#xff1a;学术文献综述 Agent、Agent Harness、多智能体协作、大语言模型应用、学术自动化、知识图谱构建、文献检索-筛选-总结流水线摘要&#xff1a;本文以Chatb…...

永动虾:OpenClaw一键部署,AI智能体轻松上手,解放你的数字双手

2025年底爆火的OpenClaw&#xff08;龙虾AI&#xff09;&#xff0c;凭借给大模型装上“数字手脚”、自主操控设备完成任务的强大能力&#xff0c;成为AI智能体领域的现象级开源项目。但原版OpenClaw复杂的部署流程、繁琐的环境配置&#xff0c;让不少普通用户望而却步。永动虾…...

外卖霸王餐API接口架构设计思路分析

外卖霸王餐API接口架构设计思路分析 对于开发者而言&#xff0c;构建一套高并发、高可用的外卖霸王餐API接口架构&#xff0c;是实现流量主与外卖平台&#xff08;美团、饿了么&#xff09;数据互通的关键。本文将基于俱美开放平台(http://www.baodanbao.com.cn)的技术实践&am…...

初始Flask框架

摘要Flask 作为 Python 生态中最受欢迎的轻量级 Web 框架&#xff0c;以其 “微内核、易扩展” 的设计理念&#xff0c;成为 Web 开发初学者的首选工具。本文基于 Flask 核心基础&#xff0c;从框架概述、环境搭建、路由视图、模板渲染、表单处理、项目结构到生产部署&#xff…...