Kafka 实战指南：原理剖析与高并发场景设计模式

一、介绍

Kafka是由 Apache 软件基金会开发的开源流处理平台，作为高吞吐量的分布式发布订阅消息系统，采用 Scala 和 Java 编写。

Kafka是一种消息服务（MQ），在理论上可以达到十万的并发。

代表的MQ软件——

kafka 十万并发

RocketMa 百万并发

rabbitMQ 十万并发

zeroMQ 百万并发

二、术语解释

1.Producer（生产者）

• 负责将消息发送到 Kafka 集群的进程；
• 根据消息的 Key 或分区策略，将消息路由到对应 Topic 的分区；
• 支持异步批量发送，提升吞吐量。

2.Consumer（消费者）

• 从 Kafka 集群订阅并处理消息的进程；
• 通过消费者组（Consumer Group）实现负载均衡，同一组内的消费者竞争消费分区消息；
• 通过手动提交偏移量（Offset）精确控制消费进度。

3.Broker（消息服务器）

• Kafka 集群的核心节点，负责存储、管理消息；
• 每个 Topic 被划分为多个分区（Partition），Broker 管理分区的分配、复制和故障转移；
• 支持水平扩展，通过添加节点提升集群容量和性能。

4.Topic（主题） 

• 消息的逻辑分组，按业务模块划分；
• 物理上由多个分区组成，消息按追加模式写入分区日志；
• 支持多生产者写入和多消费者组订阅。

5.Partition（分区）  

• Topic 的物理分片，每个分区是有序的、不可变的消息日志；
• 单个分区内的消息严格有序，不同分区间消息顺序无关；
• 通过多分区并行读写，提升消息处理吞吐量。

三、作用

用来处理消费者在网站中的所有动作流数据，就是在分布式业务环境，实现不同组件、不同的功能模块的高效通信。

四、优点

1、解耦：允许我们独立的扩展或修改列两边的处理过程；

2、扩展性： 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可；

3、流量削峰：高流量的时候，使用消息队列作为中间件可以将流量的高峰保存在消息队列中，从而防止了系统的高请求，减轻服务器的请求处理压力；

4、可恢复性：即使一个处理消息的进程挂掉，加入队列中的消息仍可以在系统恢复后被处理；

5、顺序保证： 在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partition内的消息的有序性；

6、缓冲：有助于解决生产消息和消费消息的处理速度不一致的情况；

7、异步通信：消息队列允许用户把消息放入队列但不立即处理它。

（解耦是降低系统组件间依赖，使其独立运行、灵活扩展的设计方法，常见于消息队列、微服务等场景，可提升系统灵活性与可靠性）

 （Partition是分区，在Kafka工作过程中，生产者将消息发送到特定Topic主题中，消费者通过订阅Topic 获取消息，而每个Topic可分为多个分区，分区是Topic的物理分片，如下图所示）

（Kafka设定Topic主题这一概念就是为了确保消息的有序性的，就是确保消息的顺序的）

五、观察者模式

（1）描述

观察者模式（Observer），又叫发布-订阅模式（Publish/Subscribe）

（2）依赖关系

定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新，一个对象（目标对象）的状态发生改变，所有的依赖对象（观察者对象）都将得到通知。

六、生产者消费者模式

（1）介绍

生产者消费者模式——

即N个线程进行生产，同时N个线程进行消费，两种角色通过内存缓冲区进行通信

 生产者——

负责向缓冲区里面添加数据单元

 消费者——

负责从缓冲区里面取出数据单元

（2）与传统模式的比较

传统模式——

生产者直接将消息传递给指定的消费者；

耦合性特别高，当生产者或者消费者发生变化，都需要重写业务逻辑。

生产者消费者模式——

通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列（通过FIFO以及阻塞机制来实现）来进行通讯。

（3）数据传递流程

 生产者将生产好的数据以数据单元的格式放入缓存区，之后消费者从缓冲区中取出数据单元，而且整个过程一般遵循FIFO先进先出原则，支持多并发。

七、缓冲区

（1）解耦

假设生产者和消费者分别是两个类。如果让生产者直接调用消费者的某个方法，那么生产者对于消费者就会产生依赖，所以缓冲区通过中间容器切断生产者与消费者的直接联系，实现代码、执行流程、故障和扩展的全面解耦，以支持异步处理，增强系统灵活性和可靠性

（2）支持并发

生产者直接同步调用消费者方法时，若消费者处理缓慢会导致生产者阻塞。通过缓冲区的异步处理机制解耦生产与消费流程，允许多线程 / 进程并行读写，结合线程安全保障操作原子性，并通过流量控制实现流量削峰，显著提升系统吞吐量和资源利用率。

（3）支持忙闲不均

缓冲区还有另一个好处。如果制造数据的速度时快时慢，缓冲区的好处就体现出来了，当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中，等生产者的制造速度慢下来，消费者再慢慢处理掉。

八、消息系统的核心原理

（1）点对点消息传递

在点对点消息系统中，消息持久化到一个队列中，此时将有一个或多个消费者消费队列中的数据，但是一条消息只能被消费一次，当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除，该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序，基于推送模型的消息系统，由消息代理记录消费状态，消息代理将消息推送(push)到消费者后，标记这条消息为已经被消费，但是这种方式无法很好地保证消费的处理语义。

 （2）发布订阅消息传递

在发布-订阅消息系统中，消息被持久化到一个topic（主题）中，消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除，在发布-订阅消息系统中，消息的生产者被称为发布者，消费者被称为订阅者，Kafka 采取拉取模型（Pol），由自己控制消费速度，消费者可以按照任意的偏移量进行消费。

（点对点模型就好比那邮递员按顺序送信，一封信只能被一个收件人收取，且按发送顺序到达邮箱；而发布订阅模型就类似广播，一条消息被所有人接收，只是顺序可能不一致）

九、消息确认机制

（1）介绍

Kafka 通过消费者手动提交偏移量（Offset）来实现消息确认。

当product发送消息后，leader（主）将消息同步给follower（从），然后返回ack给producter，表示消息已经收到了，此时才可以继续发送下一条消息。

Kafka提供了以下三种ack级别（就是下面的可靠性语义）——

0（异步）：leader接受到了消息马上返回ack，此时可能还没有写入磁盘，可能丢失数据。

1（半同步）：leader将消息写入磁盘后，马上返回ack，此时可能还没有同步follower，同样可能丢失数据。

-1（all）（同步）：leader和follower都将数据写入磁盘后，返回ack。但是如果在写入磁盘后，ack尚未发送，此时leader发生了故障，会导致数据写入重复。

（这三个就是，0先不向从服务器保持同步，直接返回ack确认；1是只要有一台从服务器同步了，就直接返回ack确认；而-1是确保所有的从服务器同步完成后才返回ack确认）

（2）确认流程

消费者从分区拉取消息并处理；

处理完成后，消费者向Kafka提交已处理消息的偏移量；

Kafka记录偏移量，作为消息 “已确认” 的依据。

（3）可靠性语义

至少一次（At-Least-Once）：先处理消息再提交，确保消息不丢失（可能重复）

最多一次（At-Most-Once）：先提交再处理，避免重复（可能丢失）

 （4）优缺点

优点——

精确控制：消费者手动提交偏移量，确保消息处理完成后确认，保障数据一致性；

灵活语义：支持防丢失、防重复的不同功能，适配不同可靠性需求；

异步批量优化：批量提交减少交互次数，提升吞吐量；

高可用性：消费者组内实例独立管理偏移量，故障不影响其他实例。

缺点——

开发难度大：需手动管理偏移量提交逻辑，处理异常场景，易引入bug；

数据风险高：至少一次语义可能导致消息重复，最多一次语义有消息丢失风险；

运维成本高：偏移量存储在内部主题，需额外维护分区和副本；

可见性受影响：延迟确认会使消息未及时标记为已消费，影响可见性。  

十、副本机制

就是Kafka接收到消息（数据）会为之创建对应的副本，确保整个服务的高可用性和数据冗余。

---

Kafka安装部署-CSDN博客