kafka常用命令

查看主题

./kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092

创建主题

./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic test_topic --partitions 1

 查看消费者列表--list

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --list

查看消费者组详情--describe

查看指定消费组详情--group

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --group defaultConsumerGroup

查看所有消费组详情--all-groups

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --all-groups

查询消费者成员信息--members

所有消费组成员信息

./kafka-consumer-groups.sh --describe --all-groups --members --bootstrap-server 10.1.1.2:9092

指定消费组成员信息

./kafka-consumer-groups.sh --describe --members --group defaultConsumerGroup --bootstrap-server 10.1.1.2:9092

修改到最新offset

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic inventory_topic --to-latest --execute

重设位移位置

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic inventory_topic --to-offset 100 --execute

重设位移有几种选项:

--to-earliest： 设置到最早位移处，也就是0

--to-latest： 设置到最新处，也就是主题分区HW的位置

--to-offset NUM： 指定具体的位移位置

--shift-by NUM： 基于当前位移向前回退多少

--by-duration： 回退到多长时间

消费组参数说明:

CURRENT-OFFSET： 当前消费者位移

LOG-END-OFFSET： 分区最新位移

LAG： LOG-END-OFFSET减去CURRENT-OFFSET的值，表示积压量

CONSUMER-ID： 是Kafka自己生成的

CLIENT-ID： 是消费者代码里写的CLIENT ID，用于区分同消费者组中的不同客户端

删除指定topic与数据
./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --delete --topic inventory_topic