kafka命令行操作
新老版本kafka命令行操作
啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
Kafka命令行操作
- 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
- 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
- 查看consumer group操作
新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
当前2.0稳定版本kafka命令行基本操作
查看topic list
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
创建topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101
生产数据：
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101
指定组消费：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1
消费分区0：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0
查看topics:
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101
查看groups:
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe
删除topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101
kafka2.8 无zookeeper版本命令行操作
啓動Kafka：
kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties
./kafka-server-start.sh ../config/kraft/server.properties
./kafka-server-start.sh -daemon ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
Kafka命令行操作
- 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
- 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
- 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
- 删除topic
kafka-topics.sh --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
- 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
- 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
相关文章：
kafka命令行操作
新老版本kafka命令行操作 啓動Kafka： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties Kafka命令行操作 查看当前集群中已存在的主题topic 旧的方式 kafka-topics.sh --zookeeper bdphdp01:2181 --list kafka-topics.sh --zookeeper bdphd…...
Pinia 上手使用（store、state、getters、actions）
参考链接：https://juejin.cn/post/7121209657678364685 Pinia官方：https://pinia.vuejs.org/zh/introduction.html 一、安装 npm i pinia -S二、main.js 引入 import { createApp } from "vue" import App from "./App.vue" impor…...
C++小项目之文本编辑器mynote（1.0.0版本）
2023年5月19日，周五晚上： 今天晚上突然想写一个运行在命令行上的文本编辑器，因为平时写文本时老是要创建新的文本文件，觉得太麻烦了。捣鼓了一个晚上，才选出一个我觉得比较满意的。我把这个程序添加到了系统环境变量中…...
人工智能的界面革命，消费者与企业互动的方式即将发生变化。
本文来源于 digitalnative.substack.com/p/ais-interface-revolution 描述了一种社会现象： 随着真实友谊的减少和虚拟友谊的增加，越来越多的人开始将AI聊天机器人视为自己的朋友，甚至建立了深厚的情感纽带。这可能与当前人们越来越孤独的现实…...
深度学习课程：手写体识别示例代码和详细注释
Pytorch 的快速入门，参见 通过两个神经元的极简模型，清晰透视 Pytorch 工作原理。本文结合手写体识别项目，给出一个具体示例和直接关联代码的解释。 1. 代码 下面代码展示了完整的手写体识别的 Python 程序代码。代码中有少量注释。在本文后…...
10-03 单元化架构设计
设计原则 透明 对开发者透明 在做实现时，不依赖于单元划分和部署对组件透明 在组件运行时，不感知其承载单元对数据透明 数据库并不知道为哪个单元提供服务 业务可分片 系统业务复杂度足够高系统可以按照某一维度进行切分系统数据必须可以被区分 业务…...
JAVA—实验3 继承与多态
一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性 二、实验内容 1. Circle类及其子类 【问题描述】 实现类Circle，半径为整型私有数据成员 1）构造方法：参数为…...
TCP协议和相关特性
1.TCP协议的报文结构 TCP的全称为：Transmission Control Protocol。 特点: 有连接可靠传输面向字节流全双工 下面是TCP的报文结构： 源端口和目的端口： 源端口表示数据从哪个端口传输出来，目的端口表示数据传输到哪个端口去。…...
【SpringCloud组件——Eureka】
前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。 一、微服务当中的提供者和消费者 1.1、概念 服务提供…...
JVM面试题(一)
JVM内存分哪几个区，每个区的作用是什么? java虚拟机主要分为以下几个区: JVM中方法区和堆空间是线程共享的，而虚拟机栈、本地方法栈、程序计数器是线程独享的。 （1）方法区： a. 有时候也成为永久代，在该区内…...
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中 using System; using System.Collections; using System.Collections.Generic; using System.ComponentM…...
《统计学习方法》——隐马尔可夫模型(上)
引言 这是《统计学习方法》第二版的读书笔记，由于包含书上所有公式的推导和大量的图示，因此文章较长，正文分成三篇，以及课后习题解答，在习题解答中用Numpy实现了维特比算法和前向后向算法。 《统计学习方法》——隐马…...
ElasticSearch删除索引【真实案例】
文章目录 背景分析解决遇到的问题 - 删除超时报错信息解决办法1：调大超时时间解决办法2：调大ES堆内存参考背景 项目中使用了ELK技术栈实现了日志管理，但是日志管理功能目前并没有在生产上实际使用。 但ELK程序依然在运行，导致系统磁盘发生告警，剩余可用磁盘不足10%。 所以…...
基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计
本章将完成数据速率为 80MHz 、位宽为 12bits 的 80 路并行采样数据的连续多 段触发存储。首先，给出数据触发存储的整体框架及功能模块划分。然后，简介 MIG 用户接口、设置及读写时序。最后，进行数据跨时钟域模块设计，内存…...
对 Iterator, Generator 的理解?
Iterator Iterator是最简单最好理解的。 简单的说，我们常用的 for of 循环，都是通过调用被循环对象的一个特殊函数 Iterator 来实现的，但是以前这个函数是隐藏的我们无法访问， 从 Symbol 引入之后，我们就可以通过 Sy…...
C++基础
文章目录 C命名空间定义命名空间using指令不连续的命名空间嵌套的命名空间 面向对象类类成员的访问权限及类的封装对象类成员函数类访问修饰符构造函数和析构函数类的构造函数带参数的构造函数使用初始化列表来初始化字段类的析构函数拷贝构造函数 友元函数内联函数this指针指向…...
软件测试全流程
软件测试全流程 一、制定测试策略二、制定测试方案三、编辑测试用例四、执行测试用例五、输出问题单六、回归测试七、测试文件归档 一、制定测试策略 1、测试目的测试范围 2、用什么测试方法工具（例如功能测试用黑盒测试） 3、测试优先级（功能…...
【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？
对于大部分人而言，支付模块或许是日常生活中最为关注和使用的功能之一，因此，对于支付模块的质量控制也显得尤为重要。 但考虑到支付涉及到金钱流转等敏感信息，一旦出现问题可能带来非常严重后果。因此，在支付模块测试…...
刷完这个笔记，17K不能再少了....
大家好，最近有不少小伙伴在后台留言，得准备面试了，又不知道从何下手！为了帮大家节约时间，特意准备了一份面试相关的资料，内容非常的全面，真的可以好好补一补，希望大家在都能拿到理想…...
知识变现创业指南-《知识变现秘籍》
《知识变现秘籍》 知识变现创业者指南 读完将改变你的认知 开阔你的知识变现思路 系统掌握知识变现的要点 知识付费创业方法 帮你利用知识赚到你弟一桶金 如果你有一技之长，想变现 如果你有一身才华，想变现 如果你在某个领域有绝活 如果你是&am…...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）
HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...
黑马Mybatis
Mybatis 表现层：页面展示 业务层：逻辑处理 持久层：持久数据化保存 在这里插入图片描述 Mybatis快速入门 
【力扣数据库知识手册笔记】索引
索引 索引的优缺点 优点1. 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度（创建索引的主要原因）。3. 可以加速表和表之间的连接，实现数据的参考完整性。4. 可以在查询过程中，…...
电脑插入多块移动硬盘后经常出现卡顿和蓝屏
当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时，可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案： 1. 检查电源供电问题 问题原因：多块移动硬盘同时运行可能导致USB接口供电不足&#x…...
全球首个30米分辨率湿地数据集(2000—2022)
数据简介 今天我们分享的数据是全球30米分辨率湿地数据集，包含8种湿地亚类，该数据以0.5X0.5的瓦片存储，我们整理了所有属于中国的瓦片名称与其对应省份，方便大家研究使用。 该数据集作为全球首个30米分辨率、覆盖2000–2022年时间…...
【Go】3、Go语言进阶与依赖管理
前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课，做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程，它的核心机制是 Goroutine 协程、Channel 通道，并基于CSP（Communicating Sequential Processes࿰…...
Ascend NPU上适配Step-Audio模型
1 概述 1.1 简述 Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如 中文，英文，日语），语音情感（如 开心，悲伤）&#x…...
鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/
使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败 网络不同，需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...
（转）什么是DockerCompose?它有什么作用？
一、什么是DockerCompose? DockerCompose可以基于Compose文件帮我们快速的部署分布式应用，而无需手动一个个创建和运行容器。 Compose文件是一个文本文件，通过指令定义集群中的每个容器如何运行。 DockerCompose就是把DockerFile转换成指令去运行。 …...
第 86 场周赛：矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词
Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵，其中每行，每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid，其中有多少个 3 3 的 “幻方” 子矩阵&am…...