Kafka消息队列之 【消费者分组】 详解

消费者分组（Consumer Group）是 Kafka
提供的一种强大的消息消费机制，它允许多个消费者协同工作，共同消费一个或多个主题的消息，从而实现高吞吐量、可扩展性和容错性。

基本概念

• 消费者分组：一组消费者实例的集合，这些消费者实例共同订阅一个或多个主题，并通过分组来协调消息的消费。每个消费者分组都有一个唯一的名称，用于标识该分组。
• 分区分配：Kafka 会将主题的分区分配给消费者分组中的各个消费者实例，每个分区只能被一个消费者实例消费。这样可以确保消息的顺序性，并且避免多个消费者同时消费同一个分区的消息导致的重复消费问题。

工作原理

1. 消费者加入分组

当一个消费者启动并指定了一个消费者分组时，它会向 Kafka 集群发送加入分组的请求。Kafka 会为该消费者分配一个唯一的成员 ID，并将其加入到指定的消费者分中。

2. 分区分配策略

Kafka 提供了多种分区分配策略，常见的有 RangeAssignor、RoundRobinAssignor 和 StickyAssignor 等。分区分配策略的选择会影响到分区在消费者之间的分配方式。

• RangeAssignor：按照主题进行分区分配，将一个主题的连续分区分配给同一个消费者。例如，对于一个有 6 个分区的主题和 2 个消费者的分组，RangeAssignor 可能会将分区 0 - 2 分配给消费者 1，将分区 3 - 5 分配给消费者 2。
• RoundRobinAssignor：将所有主题的分区依次轮流分配给消费者。例如，对于两个主题（每个主题有 3 个分区）和 2 个消费者的分组，RoundRobinAssignor 可能会将主题 1 的分区 0、主题 2 的分区 0 分配给消费者 1，将主题 1 的分区 1、主题 2 的分区 1 分配给消费者 2，以此类推。
• StickyAssignor：在保证分区分配尽可能均匀的同时，尽量保持之前的分区分配结果，减少分区重新分配的次数，从而降低开销。

3. 消息消费<