kafka安装与可视化工具offset explore连接操作说明

1.1 环境前置要求本地部署 Kafka 4.0 极简无复杂依赖只需满足 1 个核心条件本地已安装 JDK 17 及以上版本推荐 JDK 17并配置好 Java 环境变量能在命令行执行java -version和javac -version输出版本号即可无需安装 Zookeeper、无需安装其他中间件无需配置任何系统环境变量本地无端口占用Kafka 默认端口 9092UI 默认修改为 8081均为常规端口Kafka 4.0 本地单机版默认无账号密码、无权限校验匿名访问即可。1.2 本地 Kafka 4.0 安装与启动官网下载 Kafka 版本我下载的是kafka_2.13-4.2.0版本。官网下载地址https://kafka.apache.org/community/downloads/选择Binary downloads二进制包无需源码包。进入 Linux 系统终端输入以下命令进行下载安装包下载完成进行解压解压完成等同安装完成。# 进入下载目录cd/usr/local# 下载 Kafka 4.2.0sudowgethttps://downloads.apache.org/kafka/4.2.0/kafka_2.13-4.2.0.tgz# 解压sudotar-xzfkafka_2.13-4.2.0.tgz由于在 Linux 系统直接联网下载太慢且下载安装包经常异常中断采取了将安装包下载在本地然后将本地文件移动到虚拟机里的 Linux 系统。1.3 将本地文件复制到虚拟机的 Linux 系统方法(1) 前提虚拟机安装 VMware Tools安装执行以下操作虚拟机菜单 → 虚拟机 → 安装 VMware Tools安装完成后在 Linux 里执行bash sudo yum install -y open-vm-tools open-vm-tools-desktop sudo reboot(2) 然后设置共享文件夹1. 虚拟机 → 设置 → 选项 → 共享文件夹2. 选择总是启用3. 点添加→ 选择你 Windows 桌面4. 名字随便填比如desktop(3) 最终在 Linux 系统执行以下命令bash cp /mnt/hgfs/desktop/kafka_2.13-4.2.0.tgz /usr/local/文件kafka_2.13-4.2.0.tgz便成功复制到 Linux 系统下的/usr/local文件夹下。(4) 验证有没有复制成功在 Linux 系统中执行以下命令bash cd /usr/local ls能够看到kafka_2.13-4.2.0.tgz便是复制成功。将文件复制到虚拟机也可以参考我之前的博客https://blog.csdn.net/qqlovelinlin/article/details/161195144?spm1001.2014.3001.5502通过远程桌面的方法。1.4 本地启动 Kafka 4.0推荐方案纯 KRaft 模式无 ZK第一步进入 Kafka 目录最重要cd/usr/local/kafka_2.13-4.2.0第二步生成集群 IDKAFKA_CLUSTER_ID$(bin/kafka-storage.sh random-uuid)第三步格式化sudobin/kafka-storage.shformat--standalone-t$KAFKA_CLUSTER_ID-cconfig/server.properties第四步启动 Kafkabin/kafka-server-start.sh-daemonconfig/server.properties启动成功标识命令窗口无红色报错日志、最后输出started (kafka.server.kafkaServer)相关内容窗口保持运行状态不要关闭这个窗口关闭即停止 Kafka。1.5 停止 Kafka 服务bin/kafka-server-stop.sh2 Kafka 可视化工具 Offset Explorer 安装教程2.1 Offset Explorer 下载下载地址如下https://www.kafkatool.com/download.html2.2 安装步骤2.2.1 在安装目录下点击 exe 启动2.2.2 配置 Kafka 信息打开 Offset Explorer 后的页面展示图如下properties 填写示意图如下cluster name 可以随意填写Bootstrap Servers填ip:9092ip 是我虚拟机的 IP Zookeeper Host/Port留空KRaft 无 ZKkafka cluster version 版本必须是 3.0 以上用来支持 Kafka 的 KRaft 模式。安全配置示意图如下选择无认证 PLAINTEXT2.2.3 查看 Kafka 消息选择一个 Topic → Data → Retrieve MessagesKey/Message 设置展示格式点查询即可看到数据。Messages 选择 Newest查看最新的 Kafka 数据列表每列都可以通过点击表头进行升序或者降序排序。2.2.3.1 设置 Topic 数据展示格式设置 Topic 全局数据展示格式单独设置 Topic 数据展示格式查看数据查看某条信息的数据具体信息2.2.3.2 Kafka 过滤信息查询可以按照 Offset偏移量、Key消息 key、Message消息主体、Regex正则表达式进行单个或者组合查询。2.2.4 创建 Topic右键 “Topics” 文件夹 → 选择 “Create Topic”或点击 “Topics”单击右侧页面中的 “”会弹出 “Add Topic” 页面填写需要创建的 Topic 名称分区数和备份数点击 “Add” 添加即可创建 Topic。创建成功2.2.5 删除 Topic选择需要删除的 Topic 然后点击 x 删除。2.2.6 Topic 发送消息选中 Topic → 选择要发送的分区 → 点击 号 → 选择单条发送。单条手动发送手动单条发送通过手动输入 key 和 value 发送消息。单条文件发送value 文件内容以文件形式单条发送 value。多条手动发送3 将本地的 Offset Explorer 软件与虚拟机上的 Kafka 连接3.1 前提条件虚拟机 Kafka 已经正常启动kafka-server-start.sh运行中主机能 ping 通虚拟机 IP非常关键虚拟机查看 IP 命令ifconfig或ip addr主机 cmd 执行ping 虚拟机IP能通就继续3.2 修改 Kafka 的配置文件进入虚拟机 Kafka 的 config 目录cdkafka_2.13-3.6.1/config编辑server.propertiesviserver.properties找到并修改 / 添加以下配置# 监听地址必须改成 0.0.0.0允许外部连接 listenersPLAINTEXT://0.0.0.0:9092 # 对外暴露的地址填你的虚拟机真实 IP advertised.listenersPLAINTEXT://192.168.x.x:9092 # 不开启 SSL 认证 listener.security.protocol.mapPLAINTEXT:PLAINTEXT node.id1 process.rolesbroker,controller controller.quorum.voters1localhost:9093 listenersPLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093 controller.listener.namesCONTROLLER3.3 格式化bin/kafka-storage.shformat-t$(bin/kafka-storage.sh random-uuid)-cconfig/kraft/server.properties3.4 启动 Kafkasudobin/kafka-server-start.sh config/server.properties注意每次重启 Kafka 服务必须先执行上述 3.3 格式化命令执行完 3.3 再执行 3.4 的启动命令。