kafka命令行操作

新老版本kafka命令行操作

啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

Kafka命令行操作

1. 查看当前集群中已存在的主题topic

旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list

2. 创建topic

旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名

3. 删除主题

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1 

4. 发送消息

生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning

5. 查看主题详细信息

kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1

6. 查看consumer group操作

   新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list

当前2.0稳定版本kafka命令行基本操作

查看topic list

kafka-topics.sh --bootstrap-server bdpapp01:9092 --list

创建topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101

生产数据：

kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101

指定组消费：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1

消费分区0：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0

查看topics:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101

查看groups:

kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe

删除topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101

kafka2.8 无zookeeper版本命令行操作

啓動Kafka：

kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties 
./kafka-server-start.sh ../config/kraft/server.properties 
./kafka-server-start.sh -daemon  ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html

Kafka命令行操作

1. 查看当前集群中已存在的主题topic

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list

2. 创建topic

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名

3. 删除主题

kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1 

4. 发送消息

生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning

5. 查看主题详细信息

kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1

6. 查看consumer group操作

group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe 
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2

7. 删除topic

kafka-topics.sh  --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets

8. 通过kafka-dump-log.sh工具来查看metadata日志信息

./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log

9. 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似

./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log