当前位置: 首页 > news >正文

springboot第82集:消息队列kafka,kafka-map

官网下载链接:https://kafka.[apache].org/downloads

我下载的是[Scala]2.12 - kafka_2.12-3.1.0.tgz

kafka只需要解压下载的压缩包就行了,我这里解压的路径是D:\kafka_2.12-3.1.0,kafka的运行需要依赖zookeeper,当前版本已经内置了zookeeper,所以不需要再安装zookeeper。

kafka配置

kafka 服务端配置在server.properties中。

kafka

  • kafka 服务端配置在server.properties中。

  • kafka配置需要修改两处配置文件:listeners 和 log.dirs

  • listeners=PLAINTEXT://localhost:9092

  • log.dirs=D:/kafka_2.12-3.1.0/logs

  • zookeeper配置

  • zookeeper配置文件为zookeeper.properties,只需修改一处,

  • dataDir:zookeeper存储数据的路径

  • dataDir=D:/kafka_2.12-3.1.0/data

  • 先启动zookeeper,启动命令如下:

  • .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

  • 启动kafka-server

  • .\bin\windows\kafka-server-start.bat .\config\server.properties

  • 如果启动kafka失败,并出现以下异常,删除logs文件夹下的meta.properties文件即可。

  • 启动kafka-topics

  • 创建一个名为test的topic

  • .\bin\windows\kafka-topics.bat --create --bootstrap-server  localhost:2181 --replication-factor 1 --partitions 1 --topic test

  • 启动生产者

  • 命令如下:

  • .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

  • 启动消费者

  • 命令如下:

  • .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

启动Kafka服务

注意:您的本地环境必须[安装Java 8]。

  • 配置Zookeeper环境变量

  • 配置ZOOKEEPER_HOME:

  • 在系统环境变量Path中,增加“%ZOOKEEPER_HOME%\bin”

  • 按: windows+r, 输入cmd, 打开dos窗口,输入命令:

  • zkServer

  • 编辑broker.id=1。 配置broker.id必须是一个整数,且不可以和其他的kafak代理节点的值重复,即每个kafka节点为一个broker,拥有唯一的id值

集群配置:

  • 新生成几个配置文件config/server1.properties、config/server2.properties。

  • 然后修改里面的配置文件broker.id、 log.dir、  listeners分别指定不同的broker、日志文件位置监听端口。

    config/server1.properties:broker.id=1listeners=PLAINTEXT://:8083log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1config/server2.properties:broker.id=2listeners=PLAINTEXT://:8085log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2

启动Kafka

.\bin\windows\kafka-server-start.bat  .\config\server.properties

创建主题

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic

查看现有的主题

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

启动生产者,可以发送消息:

打开dos窗口,输入命令:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

接收消息

窗口不要关闭,同上新打开一个shell窗口,输入命令:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

如果您的 Nacos 本地启动没有设置账号密码,那么在 Java 客户端连接时也不需要指定账号和密码。您可以直接使用不带认证信息的配置连接到 Nacos 服务。

不过,如果在 Nacos 服务器中开启了身份认证(默认账户为 nacos/nacos),那就需要在 Java 客户端代码中配置用户名和密码。例如,在 NacosConfigProperties 或者客户端配置中添加账号信息。

在不需要账号密码的情况下,Java 客户端连接代码可以保持简单,例如:

Properties properties = new Properties();
properties.put("serverAddr", "localhost:8848");  // 连接到本地的 Nacos
ConfigService configService = NacosFactory.createConfigService(properties);

kafka map是使用Java11React开发的一款kafka可视化工具。

目前支持的功能有:

  • 多集群管理

  • 集群状态监控(分区数量、副本数量、存储大小、offset)

  • 主题创建、删除、扩容(删除需配置delete.topic.enable = true)

  • broker状态监控

  • 消费者组查看、删除

  • 重置offset

  • 消息查询(支持String和json方式展示)

  • 发送消息(支持向指定的topic和partition发送字符串消息)

    • 打开 系统属性 > 高级系统设置 > 环境变量

    • 找到或新建 JAVA_HOME 变量,设置为 JDK 11 的安装路径。

    • 确保系统的 JAVA_HOME 环境变量指向新安装的 Java 11 或更高版本的 JDK 目录。例如,如果你安装了 Java 11,路径可能是 C:\Program Files\Java\jdk-11.

    • 在 Windows 中,你可以通过以下步骤设置环境变量:

  • 更新 PATH 变量

    • %JAVA_HOME%\bin 添加到 PATH 环境变量的开头,以确保命令行和程序优先使用 Java 11 的运行环境。

  • Nacos 配置文件中缺少对应的属性application-prod.yml 或其他共享配置文件中没有定义 sys.datasource.url

  • Nacos 连接不成功:如果 Nacos 连接不成功,Spring Boot 将无法加载远程配置文件。

要在 Windows 上启动 Kafka Manager(即 Kafka Map)并确保使用指定的 JDK 版本(如 JDK 11),你可以通过以下步骤实现。

1. 设置 JDK 11 路径并切换到 Kafka Manager 目录

首先,确保 JDK 11 已安装并记下其安装目录路径(例如:C:\Program Files\Java\jdk-11)。

2. 启动 Kafka Manager 并指定 JDK 版本

  1. 打开命令提示符

  • Win + R,输入 cmd 并回车。

设置 JAVA_HOME: 设置 JAVA_HOME 环境变量以指向 JDK 11 路径。

  • set JAVA_HOME=C:\Program Files\Java\jdk-11
  • 添加 JDK 11 的 bin 目录到 PATH: 将 JAVA_HOME\bin 添加到当前命令行会话的 PATH 环境变量中,这样你就可以确保使用 JDK 11 启动 Kafka Manager。

    set PATH=%JAVA_HOME%\bin;%PATH%
  • 切换到 Kafka Manager 安装目录: 进入 Kafka Manager 的安装目录,例如 D:\kafka-manager

    cd D:\kafka-manager
  • 启动 Kafka Manager: 运行以下命令来启动 Kafka Manager:

    .\bin\cmak -Dconfig.file=conf/application.conf -Dhttp.port=9000
    • -Dconfig.file=conf/application.conf:指定配置文件路径。

    • -Dhttp.port=9000:指定 HTTP 端口(可以根据需要更改端口)。


自动安装必备工具。注意,这也将安装Chocolatey。安装完成后,脚本将在一个新窗口中弹出

在 Windows 中:

如果你通过安装包安装了 Yarn,但仍然无法使用它,可以检查环境变量是否设置正确。

  1. 打开 系统属性高级系统设置环境变量

  2. 在系统变量中,找到 Path,点击 编辑

  3. 确保 Yarn 安装路径(通常在 C:\Program Files (x86)\Yarn\binC:\Users<YourName>\AppData\Local\Yarn\bin)已经添加到 Path 中。

  4. 保存并关闭所有窗口,重新启动命令提示符。

1. 原因分析

日志中的核心错误:
  1. 文件被占用

    java.nio.file.FileSystemException: ... 另一个程序正在使用此文件,进程无法访问。

    表示文件被其他程序占用,Kafka 无法完成操作。

  2. 日志目录失败

    ERROR Shutdown broker because all log dirs in D:\software\kafka\logs have failed

    表示 Kafka 的日志目录不可用,可能由于文件占用、权限问题或磁盘故障。

启动

  1. 启动cassandra,到下载目录下bin下,cmd,cassandra.bat

  2. 启动nacos,到下载目录下bin下,cmd,startup.cmd -m standalone

  3. D盘,启动elasticsearch的bin目录下,elasticsearch

  4. D盘,启动kibana,bin目录下,kibana.bat

  5. zookeeper,D 盘,kafka目录下

  6. .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

  7. .\bin\windows\kafka-server-start.bat .\config\server.properties

加群联系作者vx:xiaoda0423

仓库地址:https://github.com/webVueBlog/JavaGuideInterview

相关文章:

springboot第82集:消息队列kafka,kafka-map

官网下载链接&#xff1a;https://kafka.[apache].org/downloads 我下载的是[Scala]2.12 - kafka_2.12-3.1.0.tgz kafka只需要解压下载的压缩包就行了&#xff0c;我这里解压的路径是D:\kafka_2.12-3.1.0&#xff0c;kafka的运行需要依赖zookeeper&#xff0c;当前版本已经内置…...

sql server查看当前正在执行的sql

#统计某类sql执行次数&#xff0c;并按总体cpu消耗时间降序排序 with a as ( select er.session_id,db_name(er.database_id) as DBNAME,sy.last_batch AS 最后执行时间, er.cpu_time ,er.total_elapsed_time/1000 as sum_elapsed_time_s, CAST(csql.text AS varchar(8000)) A…...

STM32设计学生宿舍监测控制系统-分享

目录 前言 一、本设计主要实现哪些很“开门”功能&#xff1f; 二、电路设计原理图 电路图采用Altium Designer进行设计&#xff1a; 三、实物设计图 四、程序源代码设计 五、获取资料内容 前言 本项目旨在利用STM32单片机为核心&#xff0c;结合传感器技术、无线通信技…...

HAproxy 详解

一、基本概念 1.1 什么是 HAproxy&#xff1f; HAproxy&#xff08;High Availability Proxy&#xff09;是一个开源的高性能负载均衡器和反向代理服务器&#xff0c;它主要用于在网络上分发流量&#xff0c;以提高网站或应用程序的可用性和性能。HAproxy 可以处理大量的并发…...

间接采购管理:主要挑战与实战策略

间接采购支出会悄然消耗掉企业的现金流&#xff0c;即使是管理完善的公司也难以避免。这是因为间接支出不直接关联特定客户、产品或项目&#xff0c;使采购人员难以跟踪。但正确管理间接支出能为企业带来显著收益——前提是要有合适的工具。本文将分享管理间接支出的关键信息与…...

2411rust,正与整128

原文 长期以来,Rust在x86-32和x86-64架构上128位整数的对齐与C语言不一致.最近已解决此问题,但该修复带来了一些值得注意的效果. 作为用户,除非如下,否则不用担心: 1,假设i128/u128对齐,而不是用align_of 2,忽略improper_ctypes*检查,并在FFI中使用这些类. 除x86-32和x86-64…...

将 HTML 转换为 JSX:JSX 和 JSX 规则

JSX 是 JavaScript 的语法扩展。您可以在 JavaScript 文件中编写 HTML 格式。 它基于 Web、Html、Css 和 JavaScript。Web 开发人员将页面内容分别编写为 Html 文件&#xff0c;将设计编写为 Css 文件&#xff0c;将逻辑编写为 JavaScript 文件。 须知 &#xff1a; JSX 是一个…...

将 FastAPI 部署到生产服务器(一套 全)

将 FastAPI 部署到生产服务器&#xff08;全&#xff09; 文章目录 将 FastAPI 部署到生产服务器&#xff08;全&#xff09;一、前言二、Fastapi项目 生产环境配置1. 准备环境2. 编写 FastAPI 应用3. 使用 Uvicorn 运行应用4. 配置生产级服务器 Gunicorn4.1 配置 Gunicorn 和 …...

题解 洛谷 Luogu P1873 [COCI 2011/2012 #5] EKO / 砍树 二分答案 C/C++

题目传送门&#xff1a; P1873 [COCI 2011/2012 #5] EKO / 砍树 - 洛谷 | 计算机科学教育新生态https://www.luogu.com.cn/problem/P1873思路&#xff1a; 很简单的二分答案 每次找区间中点 m&#xff0c;判断以 m 为高度砍下的木头是否够 h 即可 代码&#xff1a; #defin…...

SpringCloud SaToken整合微服务 集成Redis 网关路由权限拦截 服务间内部调用鉴权

介绍 作为 API 网关&#xff0c;通常负责路由、负载均衡、安全控制等功能。进行 统一鉴权 的做法意味着将所有微服务的认证和授权逻辑集中到网关层&#xff0c;而不是每个微服务单独实现。这样做有许多好处&#xff0c;微服务只关心核心业务逻辑&#xff0c;不需要处理身份验证…...

Oracle ADB 导入 BANK_GRAPH 的学习数据

Oracle ADB 导入 BANK_GRAPH 的学习数据 1. 下载数据2. 导入数据运行 setconstraints.sql 1. 下载数据 访问 https://github.com/oracle-quickstart/oci-arch-graph/tree/main/terraform/scripts&#xff0c;下载&#xff0c; bank_accounts.csvbank_txns.csvsetconstraints.…...

优化 MFC CGridCtrl 的表格布局与功能

在使用 MFC 的 CGridCtrl 控件创建表格时&#xff0c;遇到的一个典型问题是&#xff0c;当表格滚动条出现时&#xff0c;最后一列会显示空白。这篇博客将记录解决这一问题的详细过程&#xff0c;同时总结了 CGridCtrl 初始化及优化的关键步骤&#xff0c;帮助开发者快速搭建一个…...

koa-body 的详细使用文档

目录 koa-body install Features Hello World - Quickstart Usage with koa-router Usage with unsupported text body type Options 关于 parsedMethods 的说明 文件支持 关于未解析请求主体的说明 一些强大的选择 使用总结 koa-body 功能齐全的 koa body 解析器中…...

信息系统与互联网中的安全、隐私及伦理问题

1 伦理&#xff08;Ethics&#xff09; 1.1 伦理框架&#xff08;Ethical Frameworks&#xff09; 自然法与权利&#xff08;Natural Law and Rights&#xff09; 定义&#xff1a;基于人类自然权利的伦理思想&#xff0c;强调生命、自由和财产等基本权利。应用&#xff1a;隐…...

Java安全—log4j日志FastJson序列化JNDI注入

前言 log4j和fastjson都是这几年比较火的组件&#xff0c;前者是用于日志输出后者则是用于数据转换&#xff0c;今天我们从源码来说一下这两个组件为何会造成漏洞。 实验环境 这里的idea要进行一下配置&#xff0c;因为我们要引用第三方组件&#xff0c;而这些第三方组件都是…...

【STM32开发笔记】移植AI框架TensorFlow到STM32单片机【DSP指令加速篇】

【STM32开发笔记】移植AI框架TensorFlow到STM32单片机【DSP指令加速篇】 一、前文回顾二、CMSIS-NN简介2.1 为什么介绍CMSIS-NN&#xff1f;2.2 CMSIS-NN是什么&#xff1f;2.3 CMSIS-NN核心特性2.4 CMSIS-NN算子支持 三、TFLMCMSIS-NN集成3.1 包含TFLM的STM32项目3.2 理解TFLM…...

Python中如何判断一串文本是不是数字

目录 1. 内置函数2. 尝试类型转换3. 正则表达式 在编程中&#xff0c;我们经常需要确定一段文本是否为数字。 这不仅关系到数据的准确性&#xff0c;还涉及到后续的计算和处理。 1. 内置函数 在Python中&#xff0c;可以使用str.isdigit()、str.isnumeric()和str.isdecimal()…...

基于YOLOv8深度学习的智慧农业山羊行为检测系统研究与实现(PyQt5界面+数据集+训练代码)

随着智慧农业的快速发展&#xff0c;利用先进的技术手段对牲畜的行为进行自动化监测和管理&#xff0c;已经成为现代农业中的重要研究方向之一。在传统的农业管理模式中&#xff0c;牲畜的行为监测通常依赖于人工观测&#xff0c;耗时耗力且难以实现大规模实时监控。然而&#…...

Redis环境部署(主从模式、哨兵模式、集群模式)

一、概述 REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统&#xff0c;是跨平台的非关系型数据库。Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库…...

高阶C语言之六:程序环境和预处理

本文介绍程序的环境&#xff0c;在Linux下对编译链接理解&#xff0c;较为简短&#xff0c;着重在于编译的步骤。 C的环境 在ANSI C&#xff08;标准C语言&#xff09;的任何一种实现中&#xff0c;存在两个不同的环境。 翻译环境&#xff1a;在这个环境中&#xff0c;源代码…...

对比使用Taotoken前后,个人开发者的月度AI调用成本变化

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 对比使用Taotoken前后&#xff0c;个人开发者的月度AI调用成本变化 在原型开发与日常编码辅助中&#xff0c;频繁调用大模型API已成…...

京城汤泉夜宿体验:寻找最舒适的放松之地

引言在快节奏的城市生活中&#xff0c;越来越多的人开始追求一种能够彻底放松身心的方式。洗浴汤泉作为其中的一种选择&#xff0c;以其独特的魅力吸引了众多都市人。本文将带您走进京城的洗浴汤泉世界&#xff0c;特别介绍合韵汤泉&#xff0c;帮助您找到最适合自己的放松之地…...

Termius v7.0.1汉化踩坑实录:从修改entry.js到完美中文界面的完整流程

Termius v7.0.1深度汉化实战&#xff1a;从逆向分析到完美本地化的技术探索 Termius作为一款广受开发者喜爱的SSH客户端&#xff0c;其v7.0.1版本在功能和性能上都有显著提升。但对于中文用户而言&#xff0c;官方未提供完整的本地化支持始终是个遗憾。本文将带你深入Termius内…...

日本电子产业转型启示:从技术过剩到商业模式创新

1. 日本电子产业的十字路口&#xff1a;一场箱根闭门会背后的行业剧痛2013年的春天&#xff0c;当全球电子产业的聚光灯都打在硅谷和深圳时&#xff0c;日本箱根的一家温泉旅馆里&#xff0c;正进行着一场鲜为人知却意义深远的对话。索尼、瑞萨、NEC、日立、松下、富士通、Mega…...

基于 JiuwenClaw AgentTeam 集群模式的年会策划实战:从源码部署到多智能体协作落地

目录 摘要 一、引言&#xff1a;JiuwenClaw AgentTeam 让复杂任务迎刃而解 1.1 为什么选择年会策划作为 AgentTeam 实战场景 1.2 本文实战目标 二、JiuwenClaw 概述 2.1 JiuwenClaw 的核心特性 2.2 JiuwenClaw 的系统架构 2.3 JiuwenClaw 的三种运行模式 2.3.1 规划模…...

taotoken的token plan套餐让长期使用的成本预测变得简单

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 Taotoken 的 Token Plan 套餐让长期使用的成本预测变得简单 对于将大模型 API 深度集成到业务流程中的团队而言&#xff0c;成本管…...

别再混淆了!SVPWM算法中2Udc/3和Udc的电压幅值到底指什么?一个图讲清楚

别再混淆了&#xff01;SVPWM算法中2Udc/3和Udc的电压幅值到底指什么&#xff1f;一个图讲清楚 在电力电子和电机控制领域&#xff0c;SVPWM&#xff08;空间矢量脉宽调制&#xff09;算法是变频驱动系统的核心技术之一。许多初学者甚至有一定经验的工程师&#xff0c;在学习和…...

如何在5分钟内免费掌握Windows风扇控制终极技巧

如何在5分钟内免费掌握Windows风扇控制终极技巧 【免费下载链接】FanControl.Releases This is the release repository for Fan Control, a highly customizable fan controlling software for Windows. 项目地址: https://gitcode.com/GitHub_Trending/fa/FanControl.Relea…...

深度解析VMDE:Windows系统虚拟机检测的终极武器

深度解析VMDE&#xff1a;Windows系统虚拟机检测的终极武器 【免费下载链接】VMDE Source from VMDE paper, adapted to 2015 项目地址: https://gitcode.com/gh_mirrors/vm/VMDE 在网络安全研究的世界里&#xff0c;有一个永恒的问题困扰着分析师们&#xff1a;"我…...

怎么降维普AI率到30%以下?本科合格区间实战完整路径方案!

怎么降维普AI率到30%以下&#xff1f;本科合格区间实战完整路径方案&#xff01; 本科生维普 AI 率合格线 30%&#xff0c;比硕博严标准 15% 宽松一倍。但如果你的论文 AI 率 60% 重灾区&#xff0c;降到 30% 以下还是需要工具。你的真实情况是什么&#xff1f; 本科 4-5 万字论…...