当前位置： 首页 > news >正文

Kafka 消息发送和消费流程

news 2026/3/29 1:14:39

发送消息

流程如下：

  1. Producer 端直接将消息发送到 Broker 中的 Leader 分区中
  2. Broker 对应的 Leader 分区收到消息会先写入 Page Cache，定时刷盘进行持久化（顺序写入磁盘）
  3. Follower 分区拉取 Leader 分区的消息，并保持与 Leader 分区数据一致，待消息拉取完毕后需要给 Leader 分区回复 ACK 确认消息
  4. Leader 分区与 Follower 分区同步完数据，并收到所有 ISR 中的 Replica 副本的 ACK 后，Leader 分区会给 Producer 回复 ACK 确认消息

消费消息

流程如下：

  1. Consumer 需要通过订阅关系获取到集群元数据, 找到相关 Topic 对应的 Leader 分区的数据，然后通过 Pull 模式主动的去 Kafka 集群中拉取消息
  2. 拉取到消息后进行业务逻辑处理，待处理完成后，会进行 ACK 确认，即提交 Offset 消费位移进度记录。
  3. 最后 Offset 会被保存到 Kafka Broker 集群中的 consumer_offsets 这个 Topic 中，且每个 Consumer 保存自己的 Offset 进度

注意：在这个过程中，有个消费者组的概念，多个 Consumer 可以组成一个消费者组即 Consumer Group，每个消费者组都有一个 GroupId。同一个 Consumer Group 中的 Consumer 可以消费同一个 Topic 下不同分区的数据，但是不会出现多个 Consumer 去消费同一个分区的数据。

总结

综上所述，可以得出 Kafka 有三次消息传递的过程：

  1. Producer 端发送消息给 Broker 端
  2. Broker 将消息进行并持久化数据
  3. Consumer 端从 Broker 将消息拉取并进行消费

相关文章：

Kafka 消息发送和消费流程

发送消息 流程如下： Producer 端直接将消息发送到 Broker 中的 Leader 分区中Broker 对应的 Leader 分区收到消息会先写入 Page Cache，定时刷盘进行持久化（顺序写入磁盘）Follower 分区拉取 Leader 分区的消息，并保持…...

编程日记 2023/8/20 5:51:51

UVa10048 Audiophobia(floyd)

题意 给出一个图，图中的边表示从点u到点v路径上的噪音。给出q个查询，问从u到v所经路径上的最小噪音 思路 在使用floyd计算点对之间的路径时， D u , v k m i n { D u , v k − 1 , m a x { D u , k k − 1 , D k , v k − 1 } } D_{u, v}^…...

编程日记 2023/8/20 5:50:50

​Redis概述

目录 Redis - 概述 使用场景 如何安装 Window 下安装 Linux 下安装 docker直接进行安装 下载Redis镜像 Redis启动检查常用命令 Redis - 概述 redis是一款高性能的开源NOSQL系列的非关系型数据库,Redis是用C语言开发的一个开源的高键值对(key value)数据库,官方提供测试…...

编程日记 2023/8/20 5:49:48

MsrayPlus多功能搜索引擎采集软件

MsrayPlus多功能搜索引擎采集软件 摘要： 本文介绍了一款多功能搜索引擎软件-MsrayPlus，该软件能够根据关键词从搜索引擎中检索相关数据，并提供搜索引擎任务、爬虫引擎任务和联系信息采集三大功能。我们将分析该软件在不同领域的应用&#xf…...

编程日记 2023/8/20 5:48:47

机器学习之概率论

最近，在了解机器学习相关的数学知识，包括线性代数和概率论的知识，今天，回顾了概率论的知识，贴上几张其他博客的关于概率论的图片，记录学习过程。...

编程日记 2023/8/20 5:47:44

【深度学习 | 数据可视化】 视觉展示分类边界: Perceptron模型可视化iris数据集的决策边界

🤵‍♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨‍💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…...

编程日记 2023/8/20 5:46:42

【计算机视觉】相机基本知识（还在更新）

1.面阵工业相机与线阵工业相机 1.1 基本概念区别 面阵相机则主要采用的连续的、面状扫描光线来实现产品的检测； 线阵相机即利用单束扫描光来进行物体扫描的工作的。 1.2 优缺点 （1）面阵CCD工业相机： 优点：应用面…...

编程日记 2023/8/20 5:45:41

C++ （友元）（类嵌套时，成员函数以及类声明定义的顺序）小demo

#include<iostream> using namespace std; class Building; //1.因为Goodgay类需要声明Building类变量&#xff0c; //所以Building类必须Goodgay类之前声明&#xff08;前向声明&#xff09;&#xff1b; class GoodGay { public:GoodGay();void visit(); private:Build…...

编程日记 2023/8/20 5:44:40

前端实习第五周周记

前言 每一天做了什么还是要记录一下&#xff0c;不然过两天后就会发现&#xff0c;慢慢遗忘自己的收获与做过的东西。 这周做的是医学检验系统的样本库部分。由于是公司的代码所以不能交代具体&#xff0c;那么久聊一下每天具体做了些什么以及我的一些收获。 周一 周一上午…...

编程日记 2023/8/20 5:43:39

【图论】Floyd算法

一.简介 Floyd算法&#xff0c;也称为Floyd-Warshall算法&#xff0c;是一种用于解决所有节点对最短路径问题的动态规划算法。它可以在有向图或带权图中找到任意两个节点之间的最短路径。 Floyd算法的基本思想是通过中间节点逐步优化路径长度。它使用一个二维数组来存储任意两…...

编程日记 2023/8/20 5:42:37

ceph数据分布

ceph的存储是无主结构&#xff0c;数据分布依赖client来计算&#xff0c;有两个条主要路径。 1、数据到PG 2、PG 到OSD 有两个假设&#xff1a; 第一&#xff0c;pg的数量稳定&#xff0c;可以认为保持不变&#xff1b; 第二&#xff0c; OSD的数量可以增减&#xff0c;OSD的…...

编程日记 2023/8/20 5:41:36

mysql的两张表left join 进行关联后，索引进行优化案例

一 mysql的案例 1.1 不加索引情况 1.表1没加索引 2.表2没加索引 3.查看索引 1.2 添加索引 1.表1添加索引 2.表2添加索引 3.查看...

编程日记 2023/8/20 5:40:35

2018年3月全国计算机等级考试真题（语言二级C）

2018年3月全国计算机等级考试真题&#xff08;语言二级C&#xff09; 第1题 设有定义&#xff1a;char s[81]&#xff1b;int i0&#xff1b;以下不能将一行带有空格的字符串正确读入的语句或语句组是 A. while((s[i]getchar())!\n);s[i]\0; B. scanf("%s",s); C.…...

编程日记 2023/8/20 5:39:34

java.util.Timer简介以及简单使用示例

一、简介 定时器&#xff08;Timer&#xff09;是一个工具类&#xff0c;用于安排任务&#xff08;java.util.TimerTask&#xff09;在指定时间后执行或以指定的时间间隔重复执行。它可以用于执行定时任务、定时调度和时间延迟等操作。 定时器&#xff08;Timer&#xff09;可以…...

编程日记 2023/8/20 5:38:33

C语言笔试训练【第12天】

文章目录 1、请阅读以下程序&#xff0c;其运行结果是&#xff08; &#xff09;2、假设编译器规定 int 和 short 类型长度分别为32位和16位&#xff0c;若有下列C语言语句&#xff0c;则 y 的机器数为&#xff08; &#xff09;3、下列程序的输出结果是什么&#xff08; &…...

编程日记 2023/8/20 5:37:32

外网连接局域网的几种方式？快解析内网穿透安全便利吗？

外网连接局域网是一项网络连接中的关键技术&#xff0c;它能够让远程用户通过互联网访问内部局域网中的资源和服务。外网连接局域网为企业提供了更大的灵活性和便捷性&#xff0c;但也需要严格的安全措施来防止未经授权的访问。 外网连接局域网的几种方式 在将外网连接到局域…...

编程日记 2023/8/20 5:36:30

基于互斥锁的生产者消费者模型

文章目录 生产者消费者 定义代码实现 / 思路完整代码执行逻辑 / 思路 局部具体分析model.ccfunc&#xff08;消费者线程&#xff09; 执行结果 生产者消费者 定义 生产者消费者模型 是一种常用的 并发编程模型 &#xff0c;用于解决多线程或多进程环境下的协作问题。该模型包含…...

编程日记 2023/8/20 5:35:28

USB隔离器电路分析,SA8338矽塔sytatek电机驱动，源特科技VPS8701，开关电源，电源 大师

一、 USB隔离器电路分析 进行usb隔离可以使用USB隔离模块 ADUM3160 ADUM4160 注意&#xff1a;B0505S 最大带载0.16A&#xff0c;副边需要带载能力需要改变方案 比如移动硬盘至少需要0.5A 用充电宝、18650、设计5V1A输出电源 二、 1A隔离电压方案...

编程日记 2023/8/20 5:34:26

TPC-DS 测试是否支持 Glue Data Catalog？

在上一篇文章《在Hive/Spark上执行TPC-DS基准测试 (PARQUET格式）》中，我们详细介绍了具体的操作方法，当时的集群使用的是Hive Metastore，所有操作均可成功执行。当集群启用 Glue Data Catalog 时，在执行add_constraints.sql时会报错： Optimizing table date_dim (1/24).…...

编程日记 2023/8/20 5:33:25

网络编程（8.14）TCP并发服务器模型

作业&#xff1a; 1. 多线程中的newfd&#xff0c;能否修改成全局&#xff0c;不行&#xff0c;为什么&#xff1f; 2. 多线程中分支线程的newfd能否不另存&#xff0c;直接用指针间接访问主线程中的newfd,不行&#xff0c;为什么&#xff1f; 多线程并发服务器模型原代码&…...

编程日记 2023/8/20 5:32:24

如何从零构建6GHz开源矢量网络分析仪：3个核心模块详解

如何从零构建6GHz开源矢量网络分析仪&#xff1a;3个核心模块详解 【免费下载链接】LibreVNA 100kHz to 6GHz 2 port USB based VNA 项目地址: https://gitcode.com/gh_mirrors/li/LibreVNA LibreVNA是一款功能强大的开源USB矢量网络分析仪&#xff0c;工作频率覆盖100k…...

编程新知 2026/3/29 1:13:20

告别格式转换困境：Word-to-Markdown工具的高效智能无缝方案

告别格式转换困境&#xff1a;Word-to-Markdown工具的高效智能无缝方案 【免费下载链接】word-to-markdown A ruby gem to liberate content from Microsoft Word documents 项目地址: https://gitcode.com/gh_mirrors/wo/word-to-markdown 当技术文档作者需要将Word内容…...

编程新知 2026/3/29 0:41:11

QSS样式表避坑指南：为什么你的Qt界面美化总是不生效？

QSS样式表深度解析&#xff1a;从失效原理到高效美化实战 在Qt界面开发中&#xff0c;QSS&#xff08;Qt Style Sheets&#xff09;作为界面美化的核心工具&#xff0c;其重要性不亚于CSS之于网页设计。然而许多开发者在使用过程中常遇到样式失效、优先级混乱等问题。本文将系统…...

编程新知 2026/3/29 0:27:07

收藏！小白也能看懂：Transformer残差连接新处理方式，大模型学习必备！

本文介绍了Kimi团队提出的一种新的Transformer残差连接处理方式&#xff0c;旨在解决传统Transformer模型中“PreNorm稀释”问题。通过引入“注意力残差”&#xff0c;每一层使用Softmax机制选择性地组合前层输出&#xff0c;有效缓解了深层网络训练中的梯度消失问题。此外&…...

编程新知 2026/3/28 23:30:43

抖音内容高效下载实战：从单视频到批量采集的完整指南

抖音内容高效下载实战&#xff1a;从单视频到批量采集的完整指南 【免费下载链接】douyin-downloader 项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader 还在为无法保存喜欢的抖音内容而烦恼吗&#xff1f;是否经常遇到需要批量下载用户主页所有作…...

编程新知 2026/3/28 22:14:04

pose-search：Web端人体姿态识别与动作检索的革新实践

pose-search&#xff1a;Web端人体姿态识别与动作检索的革新实践 【免费下载链接】pose-search x6ud.github.io/pose-search 项目地址: https://gitcode.com/gh_mirrors/po/pose-search 在计算机视觉与Web技术深度融合的今天&#xff0c;pose-search作为一款开源项目&am…...

编程新知 2026/3/28 20:37:25

终结碎片化：基于GB28181/RTSP协议网关与边缘协同的企业级AI视频平台架构深度解析（附源码交付）

引言&#xff1a;设备接入的“泥潭”与破局之道 在安防行业的十年间&#xff0c;我最常听到开发团队抱怨的不是算法不准&#xff0c;而是“设备拉不下来流”。传统的开发模式中&#xff0c;我们需要为海康写一套SDK调用&#xff0c;为大华写一套&#xff0c;甚至为了支持ONVIF…...

编程新知 2026/3/28 19:24:54

开源六轴机械臂从零构建指南：低成本DIY方案与实战应用

开源六轴机械臂从零构建指南&#xff1a;低成本DIY方案与实战应用 【免费下载链接】Faze4-Robotic-arm All files for 6 axis robot arm with cycloidal gearboxes . 项目地址: https://gitcode.com/gh_mirrors/fa/Faze4-Robotic-arm 开源六轴机械臂技术正以前所未有的速…...

编程新知 2026/3/28 18:52:41

PFC5.03D三轴流固耦合仿真：压力卸除下的网格分析

PFC5.03D三轴泄围压条件下的流固耦合 带网格。在岩石力学的仿真中&#xff0c;PFC5.03D软件提供了一种有效的方式来模拟颗粒的流动和结构稳定性。三轴试验是岩石力学中最常用的测试方法之一&#xff0c;特别是当压力发生卸除时&#xff0c;材料的表现往往最能反映其本质特性。…...

编程新知 2026/3/28 18:08:17

Umi-OCR：免费开源OCR工具的高效解决方案与全方位指南

Umi-OCR&#xff1a;免费开源OCR工具的高效解决方案与全方位指南 【免费下载链接】Umi-OCR Umi-OCR: 这是一个免费、开源、可批量处理的离线OCR软件&#xff0c;适用于Windows系统&#xff0c;支持截图OCR、批量OCR、二维码识别等功能。 项目地址: https://gitcode.com/GitHu…...

编程新知 2026/3/28 17:29:54