当前位置：首页 > news >正文

kafka命令行操作

news 2025/11/16 0:46:39

新老版本kafka命令行操作

啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

Kafka命令行操作

查看当前集群中已存在的主题topic

旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list

创建topic

旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名

删除主题

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1

发送消息

生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning

查看主题详细信息

kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1

查看consumer group操作

   新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list

当前2.0稳定版本kafka命令行基本操作

查看topic list

kafka-topics.sh --bootstrap-server bdpapp01:9092 --list

创建topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101

生产数据：

kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101

指定组消费：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1

消费分区0：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0

查看topics:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101

查看groups:

kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe

删除topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101

kafka2.8 无zookeeper版本命令行操作

啓動Kafka：

kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties 
./kafka-server-start.sh ../config/kraft/server.properties 
./kafka-server-start.sh -daemon  ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html

Kafka命令行操作

查看当前集群中已存在的主题topic

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list

创建topic

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名

删除主题

kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1

发送消息

生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning

查看主题详细信息

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1

查看consumer group操作

group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe 
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2

删除topic

kafka-topics.sh  --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets

通过kafka-dump-log.sh工具来查看metadata日志信息

./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log

通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似

./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log

kafka命令行操作

新老版本kafka命令行操作啓動Kafka： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties Kafka命令行操作查看当前集群中已存在的主题topic 旧的方式 kafka-topics.sh --zookeeper bdphdp01:2181 --list kafka-topics.sh --zookeeper bdphd…...

编程日记 2023/5/20 21:13:42

Pinia 上手使用（store、state、getters、actions）

参考链接：https://juejin.cn/post/7121209657678364685 Pinia官方：https://pinia.vuejs.org/zh/introduction.html 一、安装 npm i pinia -S二、main.js 引入 import { createApp } from "vue" import App from "./App.vue" impor…...

编程日记 2023/5/31 17:19:49

C++小项目之文本编辑器mynote（1.0.0版本）

2023年5月19日，周五晚上： 今天晚上突然想写一个运行在命令行上的文本编辑器，因为平时写文本时老是要创建新的文本文件，觉得太麻烦了。捣鼓了一个晚上，才选出一个我觉得比较满意的。我把这个程序添加到了系统环境变量中…...

编程日记 2023/5/20 21:03:40

人工智能的界面革命，消费者与企业互动的方式即将发生变化。

本文来源于 digitalnative.substack.com/p/ais-interface-revolution 描述了一种社会现象： 随着真实友谊的减少和虚拟友谊的增加，越来越多的人开始将AI聊天机器人视为自己的朋友，甚至建立了深厚的情感纽带。这可能与当前人们越来越孤独的现实…...

编程日记 2023/5/31 16:24:33

深度学习课程：手写体识别示例代码和详细注释

Pytorch 的快速入门，参见通过两个神经元的极简模型，清晰透视 Pytorch 工作原理。本文结合手写体识别项目，给出一个具体示例和直接关联代码的解释。 1. 代码下面代码展示了完整的手写体识别的 Python 程序代码。代码中有少量注释。在本文后…...

编程日记 2023/5/20 20:53:37

10-03 单元化架构设计

设计原则透明对开发者透明在做实现时，不依赖于单元划分和部署对组件透明在组件运行时，不感知其承载单元对数据透明数据库并不知道为哪个单元提供服务业务可分片系统业务复杂度足够高系统可以按照某一维度进行切分系统数据必须可以被区分业务…...

编程日记 2023/5/20 20:48:36

JAVA—实验3 继承与多态

一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性二、实验内容 1. Circle类及其子类【问题描述】实现类Circle，半径为整型私有数据成员 1）构造方法：参数为…...

编程日记 2023/5/20 20:43:34

TCP协议和相关特性

1.TCP协议的报文结构 TCP的全称为：Transmission Control Protocol。特点: 有连接可靠传输面向字节流全双工下面是TCP的报文结构： 源端口和目的端口： 源端口表示数据从哪个端口传输出来，目的端口表示数据传输到哪个端口去。…...

编程日记 2023/5/20 20:38:32

【SpringCloud组件——Eureka】

前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。一、微服务当中的提供者和消费者 1.1、概念服务提供…...

编程日记 2023/5/20 20:33:22

JVM面试题(一)

JVM内存分哪几个区，每个区的作用是什么? java虚拟机主要分为以下几个区: JVM中方法区和堆空间是线程共享的，而虚拟机栈、本地方法栈、程序计数器是线程独享的。 （1）方法区： a. 有时候也成为永久代，在该区内…...

编程日记 2023/5/30 20:36:30

c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中

c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中 using System; using System.Collections; using System.Collections.Generic; using System.ComponentM…...

编程日记 2023/5/20 20:23:20

《统计学习方法》——隐马尔可夫模型(上)

引言这是《统计学习方法》第二版的读书笔记，由于包含书上所有公式的推导和大量的图示，因此文章较长，正文分成三篇，以及课后习题解答，在习题解答中用Numpy实现了维特比算法和前向后向算法。《统计学习方法》——隐马…...

编程日记 2023/5/20 20:18:19

ElasticSearch删除索引【真实案例】

文章目录背景分析解决遇到的问题 - 删除超时报错信息解决办法1：调大超时时间解决办法2：调大ES堆内存参考背景项目中使用了ELK技术栈实现了日志管理，但是日志管理功能目前并没有在生产上实际使用。但ELK程序依然在运行，导致系统磁盘发生告警，剩余可用磁盘不足10%。所以…...

编程日记 2023/5/20 20:13:18

基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计

本章将完成数据速率为 80MHz 、位宽为 12bits 的 80 路并行采样数据的连续多段触发存储。首先，给出数据触发存储的整体框架及功能模块划分。然后，简介 MIG 用户接口、设置及读写时序。最后，进行数据跨时钟域模块设计，内存…...

编程日记 2023/5/30 15:05:48

对 Iterator, Generator 的理解?

Iterator Iterator是最简单最好理解的。简单的说，我们常用的 for of 循环，都是通过调用被循环对象的一个特殊函数 Iterator 来实现的，但是以前这个函数是隐藏的我们无法访问， 从 Symbol 引入之后，我们就可以通过 Sy…...

编程日记 2023/5/20 20:03:16

C++基础

文章目录 C命名空间定义命名空间using指令不连续的命名空间嵌套的命名空间面向对象类类成员的访问权限及类的封装对象类成员函数类访问修饰符构造函数和析构函数类的构造函数带参数的构造函数使用初始化列表来初始化字段类的析构函数拷贝构造函数友元函数内联函数this指针指向…...

编程日记 2023/5/20 19:58:14

软件测试全流程

软件测试全流程一、制定测试策略二、制定测试方案三、编辑测试用例四、执行测试用例五、输出问题单六、回归测试七、测试文件归档一、制定测试策略 1、测试目的测试范围 2、用什么测试方法工具（例如功能测试用黑盒测试） 3、测试优先级（功能…...

编程日记 2023/5/20 19:53:13

【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？

对于大部分人而言，支付模块或许是日常生活中最为关注和使用的功能之一，因此，对于支付模块的质量控制也显得尤为重要。但考虑到支付涉及到金钱流转等敏感信息，一旦出现问题可能带来非常严重后果。因此，在支付模块测试…...

编程日记 2023/5/20 19:48:07

刷完这个笔记，17K不能再少了....

大家好，最近有不少小伙伴在后台留言，得准备面试了，又不知道从何下手！为了帮大家节约时间，特意准备了一份面试相关的资料，内容非常的全面，真的可以好好补一补，希望大家在都能拿到理想…...

编程日记 2023/5/20 19:43:05

知识变现创业指南-《知识变现秘籍》

《知识变现秘籍》知识变现创业者指南读完将改变你的认知开阔你的知识变现思路系统掌握知识变现的要点知识付费创业方法帮你利用知识赚到你弟一桶金如果你有一技之长，想变现如果你有一身才华，想变现如果你在某个领域有绝活如果你是&am…...

编程日记 2023/5/20 19:38:04

多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度

一、引言：多云环境的技术复杂性本质企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时，基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套：跨云网络构建数据…...

编程新知 2025/11/13 8:28:17

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2025/11/9 22:09:54

Opencv中的addweighted函数

一.addweighted函数作用 addweighted（）是OpenCV库中用于图像处理的函数，主要功能是将两个输入图像（尺寸和类型相同）按照指定的权重进行加权叠加（图像融合），并添加一个标量值&#x…...

编程新知 2025/11/12 19:50:39

日常一水C

多态言简意赅：就是一个对象面对同一事件时做出的不同反应而之前的继承中说过，当子类和父类的函数名相同时，会隐藏父类的同名函数转而调用子类的同名函数，如果要调用父类的同名函数，那么就需要对父类进行引用&#…...

编程新知 2025/9/30 22:37:58

上位机开发过程中的设计模式体会(1)：工厂方法模式、单例模式和生成器模式

简介在我的 QT/C 开发工作中，合理运用设计模式极大地提高了代码的可维护性和可扩展性。本文将分享我在实际项目中应用的三种创造型模式：工厂方法模式、单例模式和生成器模式。 1. 工厂模式 (Factory Pattern) 应用场景在我的 QT 项目中曾经有一个需…...

编程新知 2025/8/18 3:01:22

写一个shell脚本，把局域网内，把能ping通的IP和不能ping通的IP分类，并保存到两个文本文件里

写一个shell脚本，把局域网内，把能ping通的IP和不能ping通的IP分类，并保存到两个文本文件里脚本1 #!/bin/bash #定义变量 ip10.1.1 #循环去ping主机的IP for ((i1;i<10;i)) doping -c1 $ip.$i &>/dev/null[ $? -eq 0 ] &&am…...

编程新知 2025/10/25 10:55:30

Element-Plus：popconfirm与tooltip一起使用不生效？

你们好，我是金金金。场景我正在使用Element-plus组件库当中的el-popconfirm和el-tooltip，产品要求是两个需要结合一起使用，也就是鼠标悬浮上去有提示文字，并且点击之后需要出现气泡确认框代码 <el-popconfirm title"是…...

编程新知 2025/11/9 5:18:00

6.9本日总结

一、英语复习默写list11list18，订正07年第3篇阅读二、数学学习线代第一讲，写15讲课后题三、408 学习计组第二章，写计组习题四、总结明天结束线代第一章和计组第二章五、明日计划英语：复习l默写sit12list17&#…...

编程新知 2025/10/19 19:39:57

C++ Saucer 编写Windows桌面应用

文章目录一、背景二、Saucer 简介核心特性典型应用场景三、生成自己的项目四、以Win32项目方式构建Win32项目禁用最大化按钮五、总结一、背景使用Saucer框架，开发Windows桌面应用，把一个html页面作为GUI设计放到Saucer里，隐藏掉运行时弹…...

编程新知 2025/11/12 20:07:05

SFTrack：面向警务无人机的自适应多目标跟踪算法——突破小尺度高速运动目标的追踪瓶颈

【导读】本文针对无人机（UAV）视频中目标尺寸小、运动快导致的多目标跟踪难题，提出一种更简单高效的方法。核心创新在于从低置信度检测启动跟踪（贴合无人机场景特性），并改进传统外观匹配算法以关联此类检测…...

编程新知 2025/11/12 19:56:42

新老版本kafka命令行操作

当前2.0稳定版本kafka命令行基本操作

kafka2.8 无zookeeper版本命令行操作

相关文章：