当前位置： 首页 > news >正文

Kafka 入门到起飞 - 生产者发送消息流程解析

news 2025/11/9 22:57:04

在这里插入图片描述

  1. 生产者通过send（）方法发送消息
  2. 消息会经过拦截器->序列化器->分区器 进行加工
  3. 然后将消息存在缓冲区
  4. 当缓冲区中消息达到条件会按批次发送到broker对应分区上
  5. broker将接收到的消息进行刷盘持久化
  6. 消息处理broker会返回给producer响应
  7. 落盘成功
  8. 返回元数据信息 - > 生产者继续发送后面消息
  9. 落盘失败 - 生产者设置了重试次数
  10. 生产者去缓冲区重试发送

Tip：

  • Producer 创建时，会创建一个Sender线程设置为守护线程

  • Producer 创建时，会创建缓冲区

  • Producer 生产消息，内部是一个异步流程

  • RecordAccumulator（缓冲区） 对每一个分区都有一个缓冲区

    • 每个分区的缓冲区中消息也是有序的
    • 可以指定缓冲区中的消息按批次发送
      • 缓冲区大小达到batch.size
      • lingger.ms 达到上限
      • 以上两个条件满足一个即发送一批
    • 可以指定整个缓冲区的大小

批次的概念很好理解，缓冲区就像一辆公交车，有两种发车方式，一是人满了就发车，一是等5分钟就发车，不管是人满了还是到5分钟了，发车，go~

  • 一个批次消息发送后，通过网络，发往Kafka指定分区，然后刷盘到broker
  • 如果Producer设置了retries参数值>0,那么允许消息发送失败进行重试，重试机制由客户端Producer内部实现
  • Broker端消息落盘成功，会返回元数据给生产者
    • 通过阻塞直接返回 （同步发送）
    • 通过回调函数返回（异步发送）

相关文章：

Kafka 入门到起飞 - 生产者发送消息流程解析

生产者通过send（）方法发送消息消息会经过拦截器->序列化器->分区器 进行加工然后将消息存在缓冲区当缓冲区中消息达到条件会按批次发送到broker对应分区上broker将接收到的消息进行刷盘持久化消息处理broker会返回给producer响应落盘成功返回元数据…...

编程日记 2023/7/21 11:59:21

基于单片机智能台灯坐姿矫正器视力保护器的设计与实现

功能介绍 以51单片机作为主控系统；LCD1602液晶显示当前当前光线强度、台灯灯光强度、当前时间、坐姿距离等；按键设置当前时间，闹钟、提醒时间、坐姿最小距离；通过超声波检测坐姿，当坐姿不正容易对眼睛和身体腰部等造成…...

编程日记 2023/7/21 11:26:00

欧姆龙以太网模块如何设置ip连接 Kepware opc步骤

在数字化和自动化的今天，PLC在工业控制领域的作用日益重要。然而，PLC通讯口的有限资源成为了困扰工程师们的问题。为了解决这一问题，捷米特推出了JM-ETH-CP转以太网模块，让即插即用的以太网通讯成为可能，不仅有效利用了…...

编程日记 2023/7/21 10:52:39

PLEX如何搭建个人局域网的视频网站

Plex是一款功能非常强大的影音媒体管理系统，最大的优势是多平台支持和界面优美，几乎可以在所有的平台上安装plex服务器和客户端，让你可以随时随地享受存储在家中的电影、照片、音乐，并且可以实现观看记录无缝衔接，手机…...

编程日记 2023/7/21 10:19:18

java学习02

一、基本数据类型 Java有两大数据类型，内置数据类型和引用数据类型。 内置数据类型 Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。 byte&#xff1…...

编程日记 2023/7/21 9:45:56

libcurl库使用实例

libcurl libcurl是一个功能强大的跨平台网络传输库，支持多种协议，包括HTTP、FTP、SMTP等，同时提供了易于使用的API。 安装 ubuntu18.04平台安装 sudo apt-get install libcurl4-openssl-dev实例 这个示例使用libcurl库发送一个简单的HTTP …...

编程日记 2023/7/21 9:12:35

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

前言 本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库 数据仓库是一个面向主题的&…...

编程日记 2023/7/21 8:39:14

ESP32（MicroPython） 网页控制五自由度机械臂

ESP32（MicroPython） 网页控制五自由度机械臂 本程序通过网页控制五自由度机械臂，驱动方案改用PCA9685。 代码如下 #导入Pin模块 from machine import Pin import time from machine import SoftI2C from servo import Servos import networ…...

编程日记 2023/7/21 8:05:53

前端笔记_OAuth规则机制下实现个人站点接入qq三方登录

文章目录 ⭐前言⭐qq三方登录流程💖qq互联中心创建网页应用💖配置回调地址redirect_uri💖流程分析 ⭐思路分解⭐技术选型实现💖技术选型：💖实现 ⭐结束 ⭐前言 大家好，我是yma16，本…...

编程日记 2023/7/21 7:32:31

huggingface新作品：快速和简便的训练模型

AutoTrain Advanced是一个用于训练和部署最先进的机器学习模型的工具。它旨在提供更快速、更简便的方式来进行模型训练和部署。 安装 您可以通过PIP安装AutoTrain-Advanced的Python包。请注意，为了使AutoTrain Advanced正常工作，您将需要python > 3.…...

编程日记 2023/7/21 6:59:10

利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析

摘要 本文主要介绍了共享储能的 SCADA 系统大数据架构，以及如何利用鸿鹄来更好的优化 SCADA 系统功能，如何为用户进行数据自助分析赋能。 1、共享储能介绍 说到共享储能，可能不少朋友比较陌生，下面我们简单介绍一下共享储能的价值…...

编程日记 2023/7/21 6:25:48

noSQL语句练习

Redis练习题 string list hash结构中，每个至少完成5个命令，包含插入 修改 删除 查询，list 和hash还需要增加遍历的操作命令 1、 string类型数据的命令操作： （1） 设置键值： 127.0.0.1:63…...

编程日记 2023/7/21 5:52:26

Spring：Bean生命周期

Bean 生命周期生命周期 Bean 生命周期是 bean 对象从创建到销毁的整个过程。 简单的 Bean 生命周期的过程： 1.实例化（调用构造方法对 bean 进行实例化） 2.依赖注入（调用 set 方法对 bean 进行赋值） 3.初始化（手动配置 xml 文件中 bean 标签的 init-method 属性值，来指…...

编程日记 2023/7/21 5:19:04

Vue自定义指令

需求1：定义一个v-big指令，和v-text功能类似，但会把绑定的数值放大10倍。 需求2：定义一个v-fbind指令，和v-bind功能类似，但可以让其所绑定的input元素默认获取焦点。 自定义指令函数式v-big： &l…...

编程日记 2023/7/21 4:45:43

SpringBoot+JWT实现单点登录解决方案

一、什么是单点登录? 单点登录是一种统一认证和授权机制，指在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的系统，不需要重新登录验证。 单点登录一般用于互相授信的系统，实现单一位置登录，其他信任的…...

编程日记 2023/7/21 4:12:21

中国国债发行数据集（2002-2023）

国债是由国家发行的债券，由于国债的发行主体是国家，所以它具有最高的信用度，被公认为是最安全的投资工具。国债按照交易市场的不同分为三类，即银行间市场国债、交易所市场国债和柜台市场国债；按照交易方式的不同分为三…...

编程日记 2023/7/21 3:39:00

曲师大2023大一新生排位赛-C.String题解

C.String 题目描述 众所周知，许师哥精通字符串。 一天，许师哥意外的获得了一个字符串，但他发现这个字符串并不是一个回文串，因此他非常生气。于是他决定从这个字符串中删除若干个字符使得 剩余的字符串为一个回文串。 回想回文串…...

编程日记 2023/7/21 3:05:39

Linux Ubuntu安装RabbitMQ服务

文章目录 前言1.安装erlang 语言2.安装rabbitMQ3. 内网穿透3.1 安装cpolar内网穿透(支持一键自动安装脚本)3.2 创建HTTP隧道 4. 公网远程连接5.固定公网TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 RabbitMQ是一个在 AMQP(高级消息队列协议)基…...

编程日记 2023/7/21 2:32:18

什么是测试用例？如何设计？

在学习或者实际的测试工作中经常都会提到“测试用例”这个词，没错，测试用例是测试工作的核心，不管要做的是什么样的测试，在真正动手执行测试之前，我们都需要先根据软件需求来设计测试用例，之后再依据设计好…...

编程日记 2023/7/21 1:58:57

Maven —— 项目管理工具

前言 在这篇文章中，荔枝会介绍如何在项目工程中借助Maven的力量来开发，主要涉及Maven的下载安装、环境变量的配置、IDEA中的Maven的路径配置和信息修改以及通过Maven来快速构建项目。希望能对需要配置的小伙伴们有帮助哈哈哈哈~~~ 文章目录 前言 一、初…...

编程日记 2023/7/21 1:25:36

ES6从入门到精通：前言

ES6简介 ES6（ECMAScript 2015）是JavaScript语言的重大更新，引入了许多新特性，包括语法糖、新数据类型、模块化支持等，显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var&#xf…...

编程新知 2025/8/18 16:42:44

STM32F4基本定时器使用和原理详解

STM32F4基本定时器使用和原理详解 前言如何确定定时器挂载在哪条时钟线上配置及使用方法参数配置PrescalerCounter ModeCounter Periodauto-reload preloadTrigger Event Selection 中断配置生成的代码及使用方法初始化代码基本定时器触发DCA或者ADC的代码讲解中断代码定时启动…...

编程新知 2025/11/8 2:33:18

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...

编程新知 2025/9/30 16:13:37

【android bluetooth 框架分析 04】【bt-framework 层详解 1】【BluetoothProperties介绍】

1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件（System Property Definition File），用于声明和管理 Bluetooth 模块相…...

编程新知 2025/10/30 4:02:31

ardupilot 开发环境eclipse 中import 缺少C++

目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++，无法导入ardupilot代码，会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...

编程新知 2025/11/9 20:33:56

Linux C语言网络编程详细入门教程：如何一步步实现TCP服务端与客户端通信

文章目录 Linux C语言网络编程详细入门教程：如何一步步实现TCP服务端与客户端通信前言一、网络通信基础概念二、服务端与客户端的完整流程图解三、每一步的详细讲解和代码示例1. 创建Socket（服务端和客户端都要）2. 绑定本地地址和端口&#x…...

编程新知 2025/10/31 21:54:15

Webpack性能优化：构建速度与体积优化策略

一、构建速度优化 1、​​升级Webpack和Node.js​​ ​​优化效果​​：Webpack 4比Webpack 3构建时间降低60%-98%。​​原因​​： V8引擎优化（for of替代forEach、Map/Set替代Object）。默认使用更快的md4哈希算法。AST直接从Loa…...

编程新知 2025/10/14 13:57:17

通过MicroSip配置自己的freeswitch服务器进行调试记录

之前用docker安装的freeswitch的，启动是正常的， 但用下面的Microsip连接不上 主要原因有可能一下几个 1、通过下面命令可以看 [rootlocalhost default]# docker exec -it freeswitch fs_cli -x "sofia status profile internal"Name …...

编程新知 2025/11/7 20:08:50

【C++】纯虚函数类外可以写实现吗？

1. 答案 先说答案&#xff0c;可以。 2.代码测试 .h头文件 #include <iostream> #include <string>// 抽象基类 class AbstractBase { public:AbstractBase() default;virtual ~AbstractBase() default; // 默认析构函数public:virtual int PureVirtualFunct…...

编程新知 2025/11/9 13:37:17

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2025/10/26 14:25:38