kafka命令行操作
新老版本kafka命令行操作
啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
Kafka命令行操作
- 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
- 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
- 查看consumer group操作
新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
当前2.0稳定版本kafka命令行基本操作
查看topic list
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
创建topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101
生产数据：
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101
指定组消费：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1
消费分区0：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0
查看topics:
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101
查看groups:
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe
删除topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101
kafka2.8 无zookeeper版本命令行操作
啓動Kafka：
kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties
./kafka-server-start.sh ../config/kraft/server.properties
./kafka-server-start.sh -daemon ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
Kafka命令行操作
- 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
- 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
- 发送消息
生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
- 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
- 删除topic
kafka-topics.sh --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
- 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
- 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
相关文章：
kafka命令行操作
新老版本kafka命令行操作 啓動Kafka： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties Kafka命令行操作 查看当前集群中已存在的主题topic 旧的方式 kafka-topics.sh --zookeeper bdphdp01:2181 --list kafka-topics.sh --zookeeper bdphd…...
Pinia 上手使用（store、state、getters、actions）
参考链接：https://juejin.cn/post/7121209657678364685 Pinia官方：https://pinia.vuejs.org/zh/introduction.html 一、安装 npm i pinia -S二、main.js 引入 import { createApp } from "vue" import App from "./App.vue" impor…...
C++小项目之文本编辑器mynote（1.0.0版本）
2023年5月19日，周五晚上： 今天晚上突然想写一个运行在命令行上的文本编辑器，因为平时写文本时老是要创建新的文本文件，觉得太麻烦了。捣鼓了一个晚上，才选出一个我觉得比较满意的。我把这个程序添加到了系统环境变量中…...
人工智能的界面革命，消费者与企业互动的方式即将发生变化。
本文来源于 digitalnative.substack.com/p/ais-interface-revolution 描述了一种社会现象： 随着真实友谊的减少和虚拟友谊的增加，越来越多的人开始将AI聊天机器人视为自己的朋友，甚至建立了深厚的情感纽带。这可能与当前人们越来越孤独的现实…...
深度学习课程：手写体识别示例代码和详细注释
Pytorch 的快速入门，参见 通过两个神经元的极简模型，清晰透视 Pytorch 工作原理。本文结合手写体识别项目，给出一个具体示例和直接关联代码的解释。 1. 代码 下面代码展示了完整的手写体识别的 Python 程序代码。代码中有少量注释。在本文后…...
10-03 单元化架构设计
设计原则 透明 对开发者透明 在做实现时，不依赖于单元划分和部署对组件透明 在组件运行时，不感知其承载单元对数据透明 数据库并不知道为哪个单元提供服务 业务可分片 系统业务复杂度足够高系统可以按照某一维度进行切分系统数据必须可以被区分 业务…...
JAVA—实验3 继承与多态
一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性 二、实验内容 1. Circle类及其子类 【问题描述】 实现类Circle，半径为整型私有数据成员 1）构造方法：参数为…...
TCP协议和相关特性
1.TCP协议的报文结构 TCP的全称为：Transmission Control Protocol。 特点: 有连接可靠传输面向字节流全双工 下面是TCP的报文结构： 源端口和目的端口： 源端口表示数据从哪个端口传输出来，目的端口表示数据传输到哪个端口去。…...
【SpringCloud组件——Eureka】
前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。 一、微服务当中的提供者和消费者 1.1、概念 服务提供…...
JVM面试题(一)
JVM内存分哪几个区，每个区的作用是什么? java虚拟机主要分为以下几个区: JVM中方法区和堆空间是线程共享的，而虚拟机栈、本地方法栈、程序计数器是线程独享的。 （1）方法区： a. 有时候也成为永久代，在该区内…...
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中
c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中 using System; using System.Collections; using System.Collections.Generic; using System.ComponentM…...
《统计学习方法》——隐马尔可夫模型(上)
引言 这是《统计学习方法》第二版的读书笔记，由于包含书上所有公式的推导和大量的图示，因此文章较长，正文分成三篇，以及课后习题解答，在习题解答中用Numpy实现了维特比算法和前向后向算法。 《统计学习方法》——隐马…...
ElasticSearch删除索引【真实案例】
文章目录 背景分析解决遇到的问题 - 删除超时报错信息解决办法1：调大超时时间解决办法2：调大ES堆内存参考背景 项目中使用了ELK技术栈实现了日志管理，但是日志管理功能目前并没有在生产上实际使用。 但ELK程序依然在运行，导致系统磁盘发生告警，剩余可用磁盘不足10%。 所以…...
基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计
本章将完成数据速率为 80MHz 、位宽为 12bits 的 80 路并行采样数据的连续多 段触发存储。首先，给出数据触发存储的整体框架及功能模块划分。然后，简介 MIG 用户接口、设置及读写时序。最后，进行数据跨时钟域模块设计，内存…...
对 Iterator, Generator 的理解?
Iterator Iterator是最简单最好理解的。 简单的说，我们常用的 for of 循环，都是通过调用被循环对象的一个特殊函数 Iterator 来实现的，但是以前这个函数是隐藏的我们无法访问， 从 Symbol 引入之后，我们就可以通过 Sy…...
C++基础
文章目录 C命名空间定义命名空间using指令不连续的命名空间嵌套的命名空间 面向对象类类成员的访问权限及类的封装对象类成员函数类访问修饰符构造函数和析构函数类的构造函数带参数的构造函数使用初始化列表来初始化字段类的析构函数拷贝构造函数 友元函数内联函数this指针指向…...
软件测试全流程
软件测试全流程 一、制定测试策略二、制定测试方案三、编辑测试用例四、执行测试用例五、输出问题单六、回归测试七、测试文件归档 一、制定测试策略 1、测试目的测试范围 2、用什么测试方法工具（例如功能测试用黑盒测试） 3、测试优先级（功能…...
【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？
对于大部分人而言，支付模块或许是日常生活中最为关注和使用的功能之一，因此，对于支付模块的质量控制也显得尤为重要。 但考虑到支付涉及到金钱流转等敏感信息，一旦出现问题可能带来非常严重后果。因此，在支付模块测试…...
刷完这个笔记，17K不能再少了....
大家好，最近有不少小伙伴在后台留言，得准备面试了，又不知道从何下手！为了帮大家节约时间，特意准备了一份面试相关的资料，内容非常的全面，真的可以好好补一补，希望大家在都能拿到理想…...
知识变现创业指南-《知识变现秘籍》
《知识变现秘籍》 知识变现创业者指南 读完将改变你的认知 开阔你的知识变现思路 系统掌握知识变现的要点 知识付费创业方法 帮你利用知识赚到你弟一桶金 如果你有一技之长，想变现 如果你有一身才华，想变现 如果你在某个领域有绝活 如果你是&am…...
以下是对华为 HarmonyOS NETX 5属性动画（ArkTS）文档的结构化整理，通过层级标题、表格和代码块提升可读性：
一、属性动画概述NETX 作用：实现组件通用属性的渐变过渡效果，提升用户体验。支持属性：width、height、backgroundColor、opacity、scale、rotate、translate等。注意事项： 布局类属性（如宽高）变化时&#…...
python/java环境配置
环境变量放一起 python： 1.首先下载Python Python下载地址：Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个，然后自定义，全选 可以把前4个选上 3.环境配置 1）搜高级系统设置 2…...
基于Flask实现的医疗保险欺诈识别监测模型
基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施，由雇主和个人按一定比例缴纳保险费，建立社会医疗保险基金，支付雇员医疗费用的一种医疗保险制度， 它是促进社会文明和进步的…...
-----深度优先搜索（DFS）实现)
c++ 面试题(1)-----深度优先搜索（DFS）实现
操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述 地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
数据链路层的主要功能是什么
数据链路层（OSI模型第2层）的核心功能是在相邻网络节点（如交换机、主机）间提供可靠的数据帧传输服务，主要职责包括： 🔑 核心功能详解： 帧封装与解封装 封装： 将网络层下发…...
C# 类和继承(抽象类)
抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...
EtherNet/IP转DeviceNet协议网关详解
一，设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络，本网关连接到EtherNet/IP总线中做为从站使用，连接到DeviceNet总线中做为从站使用。 在自动…...
AI编程--插件对比分析：CodeRider、GitHub Copilot及其他
AI编程插件对比分析：CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展，AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者，分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...
使用 SymPy 进行向量和矩阵的高级操作
在科学计算和工程领域，向量和矩阵操作是解决问题的核心技能之一。Python 的 SymPy 库提供了强大的符号计算功能，能够高效地处理向量和矩阵的各种操作。本文将深入探讨如何使用 SymPy 进行向量和矩阵的创建、合并以及维度拓展等操作，并通过具体…...