Kafka 消费者组

消费者组 (Consumer Group) : 可扩展且容错性的消费者机制

• 一个组内可能有多个消费者 (Consumer Instance) : 共享一个公共 ID (Group ID)
• 组内的所有消费者协调消费订阅主题 (Subscribed Topics) 的所有分区 (Partition)
• 每个分区只能由同个消费者组内的一个 Consumer 消费

Consumer Group 的特性：

1. Consumer Group ：有 n 个 Consumer。一个 Consumer 可能是进程或线程
2. Group ID (字符串) : 标识唯一 Consumer Group
3. Consumer Group 订阅的主题的单个分区，只能由组内的某个 Consumer 消费

两种消息引擎模型 ：

• 俩种的伸缩性 (scalability) 都差
• 点对点模型 : 消费队列 : 消息一被消费，就从队列中删除，只能被一个 Consumer 消费
• 发布/订阅模型 : 允许消息被多个 Consumer 消费

Consumer Group ：

• 解决伸缩性 (scalability) 差问题
• 消息队列模型 ：所有实例都属于同一个 Group
• 发布 / 订阅模型 ：所有实例分别属于不同的 Group

Consumer Group 伸缩性 ：

• Consumer Group 订阅了多个主题后，组内的每个实例不要求一定要订阅主题的所有分区，它只会消费部分分区中的消息
• Consumer Group 之间彼此独立，互不影响，它们能够订阅相同的一组主题而互不干涉
• Broker 端的消息留存机制，Kafka 的 Consumer Group 能规避伸缩性差的问题

Consumer数

Consumer Group 下理想 Consumer 数 ：

• Consumer 数 = 该 Group 订阅主题的分区总数

例子 ：

• 一个 Consumer Group 订阅了 3 个主题
• A、B、C 的分区数分别是1 , 2 , 3 ，该 Group 的总分区数是 6
• 为该 Group 设置 6 个 Consumer ，能最大限度实现高伸缩性

设置 > 或 < 6 :

• 设 3 个 Consumer，每个 Consumer 平均消费 2 个分区 (6/3)
• 设 8 个 Consumer，有 2 (8 – 6) 个 Consumer 无法被分配分区，处于空闲状态
• 生产中，不推荐设 Consumer 数 > 总分区数，多余的 Consumer 会浪费资源

位移

Kafka 管理位移 :

• 消费位置信息 : 位移 (Offset) : 消费者在消费时 ，记录消费条数
• Offset 类似于一组 KV 对 ：Key : 分区；V : Consumer 消费该分区的最新位移
• 用 Java 类似结构 (Map<TopicPartition, Long>) : TopicPartition : 一个分区，Long : 位移的类型

Kafka 有新旧 Consumer ：

• 新旧 Consumer 的管理位移方式不一样
• 老 Consumer Group 把位移放在 ZK , 减少 Broker 开销
• 新 Consumer Group 把位移放在 __consumer_offsets 主题

ZK 不适合频繁的写更新

• Consumer Group 的位移更新是频繁操作
• 大量写操作会拖慢 ZK 集群的性能

重平衡

Rebalance ：

• 协议规定 Group 下的所有 Consumer 怎么分配订阅 Topic 的每个分区
• Rebalance 时，Group 下所有的 Consumer 都要一起参与

Rebalance 触发条件 :

• 组内成员数变化 : 有新 Consumer 加入/离开组或 Consumer 异常被踢出组
• 订阅主题数变化 : 新创的主题 , 被 Group 订阅了 , 该 Group 就会 Rebalance
• 订阅主题的分区数变化 : 增加主题的分区数，订阅该主题的所有 Group 会 Rebalance

Rebalance 的 3 种分配策略 :

• 都是为了公平分配 : 每个 Consumer 分配平均的分区数
• 如 : 一个 Group 内有 10 个 Consumer，要消费 100 个分区，理想的分配策略 : 每个 Consumer 平均分配 10 个分区
• 当有分配倾斜，就会忙死/闲死

Group 发生 Rebalance ：

• 设某个 Group 有两个 Consumer，如 : A/B
• 当 C 加入时，会触发 Rebalance，并按照分配策略重新为 A、B 和 C 分配分区
• Rebalance 后的公平分配 : 每个 Consumer 消费 2 个分区

Rebalance 对 Consumer Group 消费影响大

• Rebalance 类似 JVM 的 STW
• Rebalance 时，所有 Consumer 都会停止消费，等待 Rebalance 完成