kafka命令行操作
新老版本kafka命令行操作
啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
Kafka命令行操作
- 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
- 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
- 查看consumer group操作
新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
当前2.0稳定版本kafka命令行基本操作
查看topic list
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
创建topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101
生产数据：
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101
指定组消费：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1
消费分区0：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0
查看topics:
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101
查看groups:
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe
删除topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101
kafka2.8 无zookeeper版本命令行操作
啓動Kafka：
kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties
./kafka-server-start.sh ../config/kraft/server.properties
./kafka-server-start.sh -daemon ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
Kafka命令行操作
- 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
- 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
- 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
- 删除topic
kafka-topics.sh --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
- 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
- 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
相关文章：
kafka命令行操作
新老版本kafka命令行操作 啓動Kafka： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties Kafka命令行操作 查看当前集群中已存在的主题topic 旧的方式 kafka-topics.sh --zookeeper bdphdp01:2181 --list kafka-topics.sh --zookeeper bdphd…...
Pinia 上手使用（store、state、getters、actions）
参考链接：https://juejin.cn/post/7121209657678364685 Pinia官方：https://pinia.vuejs.org/zh/introduction.html 一、安装 npm i pinia -S二、main.js 引入 import { createApp } from "vue" import App from "./App.vue" impor…...
C++小项目之文本编辑器mynote（1.0.0版本）
2023年5月19日，周五晚上： 今天晚上突然想写一个运行在命令行上的文本编辑器，因为平时写文本时老是要创建新的文本文件，觉得太麻烦了。捣鼓了一个晚上，才选出一个我觉得比较满意的。我把这个程序添加到了系统环境变量中…...
人工智能的界面革命，消费者与企业互动的方式即将发生变化。
本文来源于 digitalnative.substack.com/p/ais-interface-revolution 描述了一种社会现象： 随着真实友谊的减少和虚拟友谊的增加，越来越多的人开始将AI聊天机器人视为自己的朋友，甚至建立了深厚的情感纽带。这可能与当前人们越来越孤独的现实…...
深度学习课程：手写体识别示例代码和详细注释
Pytorch 的快速入门，参见 通过两个神经元的极简模型，清晰透视 Pytorch 工作原理。本文结合手写体识别项目，给出一个具体示例和直接关联代码的解释。 1. 代码 下面代码展示了完整的手写体识别的 Python 程序代码。代码中有少量注释。在本文后…...
10-03 单元化架构设计
设计原则 透明 对开发者透明 在做实现时，不依赖于单元划分和部署对组件透明 在组件运行时，不感知其承载单元对数据透明 数据库并不知道为哪个单元提供服务 业务可分片 系统业务复杂度足够高系统可以按照某一维度进行切分系统数据必须可以被区分 业务…...
JAVA—实验3 继承与多态
一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性 二、实验内容 1. Circle类及其子类 【问题描述】 实现类Circle，半径为整型私有数据成员 1）构造方法：参数为…...
TCP协议和相关特性
1.TCP协议的报文结构 TCP的全称为：Transmission Control Protocol。 特点: 有连接可靠传输面向字节流全双工 下面是TCP的报文结构： 源端口和目的端口： 源端口表示数据从哪个端口传输出来，目的端口表示数据传输到哪个端口去。…...
【SpringCloud组件——Eureka】
前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。 一、微服务当中的提供者和消费者 1.1、概念 服务提供…...
JVM面试题(一)
JVM内存分哪几个区，每个区的作用是什么? java虚拟机主要分为以下几个区: JVM中方法区和堆空间是线程共享的，而虚拟机栈、本地方法栈、程序计数器是线程独享的。 （1）方法区： a. 有时候也成为永久代，在该区内…...
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中 using System; using System.Collections; using System.Collections.Generic; using System.ComponentM…...
《统计学习方法》——隐马尔可夫模型(上)
引言 这是《统计学习方法》第二版的读书笔记，由于包含书上所有公式的推导和大量的图示，因此文章较长，正文分成三篇，以及课后习题解答，在习题解答中用Numpy实现了维特比算法和前向后向算法。 《统计学习方法》——隐马…...
ElasticSearch删除索引【真实案例】
文章目录 背景分析解决遇到的问题 - 删除超时报错信息解决办法1：调大超时时间解决办法2：调大ES堆内存参考背景 项目中使用了ELK技术栈实现了日志管理，但是日志管理功能目前并没有在生产上实际使用。 但ELK程序依然在运行，导致系统磁盘发生告警，剩余可用磁盘不足10%。 所以…...
基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计
本章将完成数据速率为 80MHz 、位宽为 12bits 的 80 路并行采样数据的连续多 段触发存储。首先，给出数据触发存储的整体框架及功能模块划分。然后，简介 MIG 用户接口、设置及读写时序。最后，进行数据跨时钟域模块设计，内存…...
对 Iterator, Generator 的理解?
Iterator Iterator是最简单最好理解的。 简单的说，我们常用的 for of 循环，都是通过调用被循环对象的一个特殊函数 Iterator 来实现的，但是以前这个函数是隐藏的我们无法访问， 从 Symbol 引入之后，我们就可以通过 Sy…...
C++基础
文章目录 C命名空间定义命名空间using指令不连续的命名空间嵌套的命名空间 面向对象类类成员的访问权限及类的封装对象类成员函数类访问修饰符构造函数和析构函数类的构造函数带参数的构造函数使用初始化列表来初始化字段类的析构函数拷贝构造函数 友元函数内联函数this指针指向…...
软件测试全流程
软件测试全流程 一、制定测试策略二、制定测试方案三、编辑测试用例四、执行测试用例五、输出问题单六、回归测试七、测试文件归档 一、制定测试策略 1、测试目的测试范围 2、用什么测试方法工具（例如功能测试用黑盒测试） 3、测试优先级（功能…...
【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？
对于大部分人而言，支付模块或许是日常生活中最为关注和使用的功能之一，因此，对于支付模块的质量控制也显得尤为重要。 但考虑到支付涉及到金钱流转等敏感信息，一旦出现问题可能带来非常严重后果。因此，在支付模块测试…...
刷完这个笔记，17K不能再少了....
大家好，最近有不少小伙伴在后台留言，得准备面试了，又不知道从何下手！为了帮大家节约时间，特意准备了一份面试相关的资料，内容非常的全面，真的可以好好补一补，希望大家在都能拿到理想…...
知识变现创业指南-《知识变现秘籍》
《知识变现秘籍》 知识变现创业者指南 读完将改变你的认知 开阔你的知识变现思路 系统掌握知识变现的要点 知识付费创业方法 帮你利用知识赚到你弟一桶金 如果你有一技之长，想变现 如果你有一身才华，想变现 如果你在某个领域有绝活 如果你是&am…...
Goframe项目实战：从数据库表到API接口的全链路开发指南（含避坑点）
Goframe项目实战：从数据库表到API接口的全链路开发指南（含避坑点）在当今微服务架构盛行的时代，Go语言因其高性能和并发优势成为后端开发的热门选择。而Goframe作为一款企业级的Go应用开发框架，提供了从数据库操作到API…...
Vue3 图片标框功能实现方案
基于 Vue3 组合式 API 的图片标框（画框、标注、选框）完整实现，核心逻辑封装在 GetBoxes 组件里，复制就能用 一、功能说明 ✅ 在图片上鼠标拖拽画矩形框 ✅ 实时显示框坐标（x, y, width, height） ✅ 支持多…...
HarmonyOS ArkTS DateUtil 日期增减与日历计算完整指南
文章目录 背景一、引言二、日期增减方法详解使用示例 三、日历计算方法详解四、Demo 演示：日期增减结果展示五、Demo 演示：月历视图完整实现六、日历视图关键点解析为什么要填充前置空格？getLastDayOfMonth 的实现技巧 七、小结 背景 近期发现…...
大佬推荐的网络安全学习路线（从基础到高级，超级详细）
大佬推荐的网络安全学习路线（从基础到高级，超级详细） 说起网络安全，你可能会担心它是一个过时的行业。有人说，网络安全快卷死了，你既要攻又要防，并且随着技术的发展，你还要不断地学…...
Elden Ring帧率解锁终极指南：从60帧到144+的完整教程
Elden Ring帧率解锁终极指南：从60帧到144的完整教程 【免费下载链接】EldenRingFpsUnlockAndMore A small utility to remove frame rate limit, change FOV, add widescreen support and more for Elden Ring 项目地址: https://gitcode.com/gh_mirrors/el/Elden…...
告别坐标点击！用Poco精准定位UI控件，让你的Airtest安卓自动化脚本更稳定
告别坐标点击！用Poco精准定位UI控件，让你的Airtest安卓自动化脚本更稳定每次UI微调就导致脚本大面积失效？分辨率变化让精心编写的自动化测试瞬间崩溃？作为从坐标点击转型到控件识别的实践者，我深刻理解这种挫败感。三年…...
通用物联网开发板设计：基于ESP8266的硬件集成与开发实践
1. 项目概述：为什么我们需要一块“通用”的物联网开发板？在捣鼓了几年物联网项目之后，我发现自己桌面上堆满了各种开发板：ESP8266、ESP32、Arduino Uno、STM32 Nucleo……每个项目都要重新连线、配置电源、焊接传感器接口…...
Unlock-Music：浏览器中一键解锁加密音乐文件的完整指南
Unlock-Music：浏览器中一键解锁加密音乐文件的完整指南 【免费下载链接】unlock-music 在浏览器中解锁加密的音乐文件。原仓库： 1. https://github.com/unlock-music/unlock-music ；2. https://git.unlock-music.dev/um/web 项目地址: http…...
ComfyUI-Manager完全指南：掌握AI工作流管理的核心技术
ComfyUI-Manager完全指南：掌握AI工作流管理的核心技术 【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, and enable various custo…...
为什么你的DeepSeek总漏检重构后代码？4步反混淆预处理法（附LLM辅助去装饰器Python脚本）
更多请点击： https://codechina.net 第一章：DeepSeek代码重复检测 DeepSeek-R1 模型在训练过程中引入了严格的代码去重机制，其核心目标是消除训练语料中语义等价或高度相似的代码片段，从而提升模型对真实编程模式的学习能力与泛化…...