kafka命令行操作
新老版本kafka命令行操作
啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
Kafka命令行操作
- 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
- 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
- 查看consumer group操作
新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
当前2.0稳定版本kafka命令行基本操作
查看topic list
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
创建topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101
生产数据：
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101
指定组消费：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1
消费分区0：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0
查看topics:
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101
查看groups:
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe
删除topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101
kafka2.8 无zookeeper版本命令行操作
啓動Kafka：
kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties
./kafka-server-start.sh ../config/kraft/server.properties
./kafka-server-start.sh -daemon ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
Kafka命令行操作
- 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
- 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
- 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
- 删除topic
kafka-topics.sh --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
- 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
- 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
相关文章：
kafka命令行操作
新老版本kafka命令行操作 啓動Kafka： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties Kafka命令行操作 查看当前集群中已存在的主题topic 旧的方式 kafka-topics.sh --zookeeper bdphdp01:2181 --list kafka-topics.sh --zookeeper bdphd…...
Pinia 上手使用（store、state、getters、actions）
参考链接：https://juejin.cn/post/7121209657678364685 Pinia官方：https://pinia.vuejs.org/zh/introduction.html 一、安装 npm i pinia -S二、main.js 引入 import { createApp } from "vue" import App from "./App.vue" impor…...
C++小项目之文本编辑器mynote（1.0.0版本）
2023年5月19日，周五晚上： 今天晚上突然想写一个运行在命令行上的文本编辑器，因为平时写文本时老是要创建新的文本文件，觉得太麻烦了。捣鼓了一个晚上，才选出一个我觉得比较满意的。我把这个程序添加到了系统环境变量中…...
人工智能的界面革命，消费者与企业互动的方式即将发生变化。
本文来源于 digitalnative.substack.com/p/ais-interface-revolution 描述了一种社会现象： 随着真实友谊的减少和虚拟友谊的增加，越来越多的人开始将AI聊天机器人视为自己的朋友，甚至建立了深厚的情感纽带。这可能与当前人们越来越孤独的现实…...
深度学习课程：手写体识别示例代码和详细注释
Pytorch 的快速入门，参见 通过两个神经元的极简模型，清晰透视 Pytorch 工作原理。本文结合手写体识别项目，给出一个具体示例和直接关联代码的解释。 1. 代码 下面代码展示了完整的手写体识别的 Python 程序代码。代码中有少量注释。在本文后…...
10-03 单元化架构设计
设计原则 透明 对开发者透明 在做实现时，不依赖于单元划分和部署对组件透明 在组件运行时，不感知其承载单元对数据透明 数据库并不知道为哪个单元提供服务 业务可分片 系统业务复杂度足够高系统可以按照某一维度进行切分系统数据必须可以被区分 业务…...
JAVA—实验3 继承与多态
一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性 二、实验内容 1. Circle类及其子类 【问题描述】 实现类Circle，半径为整型私有数据成员 1）构造方法：参数为…...
TCP协议和相关特性
1.TCP协议的报文结构 TCP的全称为：Transmission Control Protocol。 特点: 有连接可靠传输面向字节流全双工 下面是TCP的报文结构： 源端口和目的端口： 源端口表示数据从哪个端口传输出来，目的端口表示数据传输到哪个端口去。…...
【SpringCloud组件——Eureka】
前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。 一、微服务当中的提供者和消费者 1.1、概念 服务提供…...
JVM面试题(一)
JVM内存分哪几个区，每个区的作用是什么? java虚拟机主要分为以下几个区: JVM中方法区和堆空间是线程共享的，而虚拟机栈、本地方法栈、程序计数器是线程独享的。 （1）方法区： a. 有时候也成为永久代，在该区内…...
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中 using System; using System.Collections; using System.Collections.Generic; using System.ComponentM…...
《统计学习方法》——隐马尔可夫模型(上)
引言 这是《统计学习方法》第二版的读书笔记，由于包含书上所有公式的推导和大量的图示，因此文章较长，正文分成三篇，以及课后习题解答，在习题解答中用Numpy实现了维特比算法和前向后向算法。 《统计学习方法》——隐马…...
ElasticSearch删除索引【真实案例】
文章目录 背景分析解决遇到的问题 - 删除超时报错信息解决办法1：调大超时时间解决办法2：调大ES堆内存参考背景 项目中使用了ELK技术栈实现了日志管理，但是日志管理功能目前并没有在生产上实际使用。 但ELK程序依然在运行，导致系统磁盘发生告警，剩余可用磁盘不足10%。 所以…...
基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计
本章将完成数据速率为 80MHz 、位宽为 12bits 的 80 路并行采样数据的连续多 段触发存储。首先，给出数据触发存储的整体框架及功能模块划分。然后，简介 MIG 用户接口、设置及读写时序。最后，进行数据跨时钟域模块设计，内存…...
对 Iterator, Generator 的理解?
Iterator Iterator是最简单最好理解的。 简单的说，我们常用的 for of 循环，都是通过调用被循环对象的一个特殊函数 Iterator 来实现的，但是以前这个函数是隐藏的我们无法访问， 从 Symbol 引入之后，我们就可以通过 Sy…...
C++基础
文章目录 C命名空间定义命名空间using指令不连续的命名空间嵌套的命名空间 面向对象类类成员的访问权限及类的封装对象类成员函数类访问修饰符构造函数和析构函数类的构造函数带参数的构造函数使用初始化列表来初始化字段类的析构函数拷贝构造函数 友元函数内联函数this指针指向…...
软件测试全流程
软件测试全流程 一、制定测试策略二、制定测试方案三、编辑测试用例四、执行测试用例五、输出问题单六、回归测试七、测试文件归档 一、制定测试策略 1、测试目的测试范围 2、用什么测试方法工具（例如功能测试用黑盒测试） 3、测试优先级（功能…...
【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？
对于大部分人而言，支付模块或许是日常生活中最为关注和使用的功能之一，因此，对于支付模块的质量控制也显得尤为重要。 但考虑到支付涉及到金钱流转等敏感信息，一旦出现问题可能带来非常严重后果。因此，在支付模块测试…...
刷完这个笔记，17K不能再少了....
大家好，最近有不少小伙伴在后台留言，得准备面试了，又不知道从何下手！为了帮大家节约时间，特意准备了一份面试相关的资料，内容非常的全面，真的可以好好补一补，希望大家在都能拿到理想…...
知识变现创业指南-《知识变现秘籍》
《知识变现秘籍》 知识变现创业者指南 读完将改变你的认知 开阔你的知识变现思路 系统掌握知识变现的要点 知识付费创业方法 帮你利用知识赚到你弟一桶金 如果你有一技之长，想变现 如果你有一身才华，想变现 如果你在某个领域有绝活 如果你是&am…...
连接辟)
Springboot 实现多数据源(PostgreSQL 和 SQL Server)连接辟
一、环境准备 Free Spire.Doc for Python 是免费 Python 文档处理库，无需依赖 Microsoft Word，支持 Word 文档的创建、编辑、转换等操作，其中内置的 Markdown 解析能力，能高效实现 Markdown 到 Doc/Docx 格式的转换，且…...
AudioSeal部署教程：NVIDIA Container Toolkit集成与GPU容器化运行验证
AudioSeal部署教程：NVIDIA Container Toolkit集成与GPU容器化运行验证 1. 项目概述 AudioSeal是Meta开源的专业级语音水印系统，专门用于AI生成音频的检测和溯源。这个工具能够在音频中嵌入和检测数字水印，就像给音频文件打上独特的"指…...
CLAP零样本分类教程：科研场景中稀有鸟类叫声发现与标注
CLAP零样本分类教程：科研场景中稀有鸟类叫声发现与标注 1. 引言：从海量录音中寻找“稀客” 想象一下，你是一位生态学研究者，在野外布设了数十个录音设备，连续记录了几个月。拿回来的数据是成千上万小时的音频文件。你…...
Coding Agent底层架构全解（极其详细），吃透6大核心组件，收藏这篇就够了！
为什么同样的模型，在 Chat 界面和 Coding Agent 里表现完全不同？ 最近读到 Sebastian Raschka 的一篇深度文章，拆解了 Coding Agent（代码智能体）的核心架构。Sebastian 是《Build a Large Language Model (From Scratc…...
Python asyncio 并发下载任务设计
Python asyncio 并发下载任务设计 在当今互联网时代，高效下载大量文件是许多应用场景的常见需求。无论是爬取网页数据、批量下载图片，还是同步云端资源，传统的同步下载方式往往因网络延迟而效率低下。Python的asyncio库提供了一种基于协程的…...
GD32E103电机控制实战：手把手教你用TIMER1配置AB相编码器（附完整代码）
GD32E103电机控制实战：TIMER1配置AB相编码器的工程化实现 在工业自动化与机器人控制领域，电机的位置反馈是实现精准运动控制的关键。GD32E103作为一款高性价比的ARM Cortex-M4内核微控制器，其丰富的外设资源特别适合电机控制应用。本文将深入…...
Arduino nRF5x低功耗库：深度睡眠与精准唤醒实战指南
1. 项目概述 Arduino_nRF5x_lowPower 是专为 Nordic Semiconductor nRF5x 系列 SoC（如 nRF52832、nRF52840、nRF51822）设计的 Arduino 兼容低功耗管理库。该库并非简单封装睡眠函数，而是深度对接 nRF5x 片上电源管理单元（PMU&am…...
2025届毕业生推荐的五大降AI率助手实测分析
Ai论文网站排名（开题报告、文献综述、降aigc率、降重综合对比） TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 于人工智能生成内容越发普及的当下时刻，怎样去有效降低AIGC的可辨识度成为了关键…...
别再为Containerd私有仓库的HTTPS报错头疼了，用ctr命令的--plain-http参数一键搞定镜像推送
Containerd私有仓库HTTPS报错的终极解法：ctr命令--plain-http实战指南 凌晨三点的告警铃声响起，屏幕上闪烁着熟悉的错误提示——http: server gave HTTP response to HTTPS client。这不是第一次在私有仓库镜像推送时遇到这个拦路虎了。每次修改containe…...
【物联网毕设】手势小车控制-STM32+蓝牙
目录 一 连线图 1. 原理图 2. PCB效果 3. 实物效果 4. 功能概括 （1）主机 （2）从机 （3）演示视频 二 底层代码使用方式 1 使用说明 2 下载程序 三 APP使用方式 1下载APP 四 程序架构及修改&…...