当前位置： 首页 > news >正文

Kafka 入门到起飞 - 生产者发送消息流程解析

news 2025/9/19 1:59:57

在这里插入图片描述

  1. 生产者通过send（）方法发送消息
  2. 消息会经过拦截器->序列化器->分区器 进行加工
  3. 然后将消息存在缓冲区
  4. 当缓冲区中消息达到条件会按批次发送到broker对应分区上
  5. broker将接收到的消息进行刷盘持久化
  6. 消息处理broker会返回给producer响应
  7. 落盘成功
  8. 返回元数据信息 - > 生产者继续发送后面消息
  9. 落盘失败 - 生产者设置了重试次数
  10. 生产者去缓冲区重试发送

Tip：

  • Producer 创建时，会创建一个Sender线程设置为守护线程

  • Producer 创建时，会创建缓冲区

  • Producer 生产消息，内部是一个异步流程

  • RecordAccumulator（缓冲区） 对每一个分区都有一个缓冲区

    • 每个分区的缓冲区中消息也是有序的
    • 可以指定缓冲区中的消息按批次发送
      • 缓冲区大小达到batch.size
      • lingger.ms 达到上限
      • 以上两个条件满足一个即发送一批
    • 可以指定整个缓冲区的大小

批次的概念很好理解，缓冲区就像一辆公交车，有两种发车方式，一是人满了就发车，一是等5分钟就发车，不管是人满了还是到5分钟了，发车，go~

  • 一个批次消息发送后，通过网络，发往Kafka指定分区，然后刷盘到broker
  • 如果Producer设置了retries参数值>0,那么允许消息发送失败进行重试，重试机制由客户端Producer内部实现
  • Broker端消息落盘成功，会返回元数据给生产者
    • 通过阻塞直接返回 （同步发送）
    • 通过回调函数返回（异步发送）

相关文章：

Kafka 入门到起飞 - 生产者发送消息流程解析

生产者通过send（）方法发送消息消息会经过拦截器->序列化器->分区器 进行加工然后将消息存在缓冲区当缓冲区中消息达到条件会按批次发送到broker对应分区上broker将接收到的消息进行刷盘持久化消息处理broker会返回给producer响应落盘成功返回元数据…...

编程日记 2023/7/21 11:59:21

基于单片机智能台灯坐姿矫正器视力保护器的设计与实现

功能介绍 以51单片机作为主控系统；LCD1602液晶显示当前当前光线强度、台灯灯光强度、当前时间、坐姿距离等；按键设置当前时间，闹钟、提醒时间、坐姿最小距离；通过超声波检测坐姿，当坐姿不正容易对眼睛和身体腰部等造成…...

编程日记 2023/7/21 11:26:00

欧姆龙以太网模块如何设置ip连接 Kepware opc步骤

在数字化和自动化的今天，PLC在工业控制领域的作用日益重要。然而，PLC通讯口的有限资源成为了困扰工程师们的问题。为了解决这一问题，捷米特推出了JM-ETH-CP转以太网模块，让即插即用的以太网通讯成为可能，不仅有效利用了…...

编程日记 2023/7/21 10:52:39

PLEX如何搭建个人局域网的视频网站

Plex是一款功能非常强大的影音媒体管理系统，最大的优势是多平台支持和界面优美，几乎可以在所有的平台上安装plex服务器和客户端，让你可以随时随地享受存储在家中的电影、照片、音乐，并且可以实现观看记录无缝衔接，手机…...

编程日记 2023/7/21 10:19:18

java学习02

一、基本数据类型 Java有两大数据类型，内置数据类型和引用数据类型。 内置数据类型 Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。 byte&#xff1…...

编程日记 2023/7/21 9:45:56

libcurl库使用实例

libcurl libcurl是一个功能强大的跨平台网络传输库，支持多种协议，包括HTTP、FTP、SMTP等，同时提供了易于使用的API。 安装 ubuntu18.04平台安装 sudo apt-get install libcurl4-openssl-dev实例 这个示例使用libcurl库发送一个简单的HTTP …...

编程日记 2023/7/21 9:12:35

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

前言 本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库 数据仓库是一个面向主题的&…...

编程日记 2023/7/21 8:39:14

ESP32（MicroPython） 网页控制五自由度机械臂

ESP32（MicroPython） 网页控制五自由度机械臂 本程序通过网页控制五自由度机械臂，驱动方案改用PCA9685。 代码如下 #导入Pin模块 from machine import Pin import time from machine import SoftI2C from servo import Servos import networ…...

编程日记 2023/7/21 8:05:53

前端笔记_OAuth规则机制下实现个人站点接入qq三方登录

文章目录 ⭐前言⭐qq三方登录流程💖qq互联中心创建网页应用💖配置回调地址redirect_uri💖流程分析 ⭐思路分解⭐技术选型实现💖技术选型：💖实现 ⭐结束 ⭐前言 大家好，我是yma16，本…...

编程日记 2023/7/21 7:32:31

huggingface新作品：快速和简便的训练模型

AutoTrain Advanced是一个用于训练和部署最先进的机器学习模型的工具。它旨在提供更快速、更简便的方式来进行模型训练和部署。 安装 您可以通过PIP安装AutoTrain-Advanced的Python包。请注意，为了使AutoTrain Advanced正常工作，您将需要python > 3.…...

编程日记 2023/7/21 6:59:10

利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析

摘要 本文主要介绍了共享储能的 SCADA 系统大数据架构，以及如何利用鸿鹄来更好的优化 SCADA 系统功能，如何为用户进行数据自助分析赋能。 1、共享储能介绍 说到共享储能，可能不少朋友比较陌生，下面我们简单介绍一下共享储能的价值…...

编程日记 2023/7/21 6:25:48

noSQL语句练习

Redis练习题 string list hash结构中，每个至少完成5个命令，包含插入 修改 删除 查询，list 和hash还需要增加遍历的操作命令 1、 string类型数据的命令操作： （1） 设置键值： 127.0.0.1:63…...

编程日记 2023/7/21 5:52:26

Spring：Bean生命周期

Bean 生命周期生命周期 Bean 生命周期是 bean 对象从创建到销毁的整个过程。 简单的 Bean 生命周期的过程： 1.实例化（调用构造方法对 bean 进行实例化） 2.依赖注入（调用 set 方法对 bean 进行赋值） 3.初始化（手动配置 xml 文件中 bean 标签的 init-method 属性值，来指…...

编程日记 2023/7/21 5:19:04

Vue自定义指令

需求1：定义一个v-big指令，和v-text功能类似，但会把绑定的数值放大10倍。 需求2：定义一个v-fbind指令，和v-bind功能类似，但可以让其所绑定的input元素默认获取焦点。 自定义指令函数式v-big： &l…...

编程日记 2023/7/21 4:45:43

SpringBoot+JWT实现单点登录解决方案

一、什么是单点登录? 单点登录是一种统一认证和授权机制，指在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的系统，不需要重新登录验证。 单点登录一般用于互相授信的系统，实现单一位置登录，其他信任的…...

编程日记 2023/7/21 4:12:21

中国国债发行数据集（2002-2023）

国债是由国家发行的债券，由于国债的发行主体是国家，所以它具有最高的信用度，被公认为是最安全的投资工具。国债按照交易市场的不同分为三类，即银行间市场国债、交易所市场国债和柜台市场国债；按照交易方式的不同分为三…...

编程日记 2023/7/21 3:39:00

曲师大2023大一新生排位赛-C.String题解

C.String 题目描述 众所周知，许师哥精通字符串。 一天，许师哥意外的获得了一个字符串，但他发现这个字符串并不是一个回文串，因此他非常生气。于是他决定从这个字符串中删除若干个字符使得 剩余的字符串为一个回文串。 回想回文串…...

编程日记 2023/7/21 3:05:39

Linux Ubuntu安装RabbitMQ服务

文章目录 前言1.安装erlang 语言2.安装rabbitMQ3. 内网穿透3.1 安装cpolar内网穿透(支持一键自动安装脚本)3.2 创建HTTP隧道 4. 公网远程连接5.固定公网TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 RabbitMQ是一个在 AMQP(高级消息队列协议)基…...

编程日记 2023/7/21 2:32:18

什么是测试用例？如何设计？

在学习或者实际的测试工作中经常都会提到“测试用例”这个词，没错，测试用例是测试工作的核心，不管要做的是什么样的测试，在真正动手执行测试之前，我们都需要先根据软件需求来设计测试用例，之后再依据设计好…...

编程日记 2023/7/21 1:58:57

Maven —— 项目管理工具

前言 在这篇文章中，荔枝会介绍如何在项目工程中借助Maven的力量来开发，主要涉及Maven的下载安装、环境变量的配置、IDEA中的Maven的路径配置和信息修改以及通过Maven来快速构建项目。希望能对需要配置的小伙伴们有帮助哈哈哈哈~~~ 文章目录 前言 一、初…...

编程日记 2023/7/21 1:25:36

盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来

一、破局：PCB行业的时代之问 在数字经济蓬勃发展的浪潮中，PCB（印制电路板）作为 “电子产品之母”，其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透，PCB行业面临着前所未有的挑战与机遇。产品迭代…...

编程新知 2025/9/19 1:36:49

Rust 异步编程

Rust 异步编程 引言 Rust 是一种系统编程语言，以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天，异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...

编程新知 2025/8/8 11:04:42

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...

编程新知 2025/8/26 23:06:46

成都鼎讯硬核科技！雷达目标与干扰模拟器，以卓越性能制胜电磁频谱战

在现代战争中，电磁频谱已成为继陆、海、空、天之后的 “第五维战场”，雷达作为电磁频谱领域的关键装备，其干扰与抗干扰能力的较量，直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器，凭借数字射…...

编程新知 2025/9/3 23:09:31

初探Service服务发现机制

1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能：服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源&#xf…...

编程新知 2025/9/17 14:10:43

CSS | transition 和 transform的用处和区别

省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...

编程新知 2025/7/11 23:09:41

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.

ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #&#xff1a…...

编程新知 2025/9/4 16:15:51

LTR-381RGB-01RGB+环境光检测应用场景及客户类型主要有哪些？

RGB环境光检测 功能，在应用场景及客户类型： 1. 可应用的儿童玩具类型 (1) 智能互动玩具 功能：通过检测环境光或物体颜色触发互动（如颜色识别积木、光感音乐盒）。 客户参考： LEGO（乐高&#x…...

编程新知 2025/9/8 6:40:42

Linux【5】-----编译和烧写Linux系统镜像（RK3568）

参考：讯为 1、文件系统 不同的文件系统组成了：debian、ubuntu、buildroot、qt等系统 每个文件系统的uboot和kernel是一样的 2、源码目录介绍 目录 3、正式编译 编译脚本build.sh 帮助内容如下： Available options: uboot …...

编程新知 2025/9/2 22:10:22

Gitlab + Jenkins 实现 CICD

CICD 是持续集成（Continuous Integration, CI）和持续交付/部署（Continuous Delivery/Deployment, CD）的缩写，是现代软件开发中的一种自动化流程实践。下面介绍 Web 项目如何在代码提交到 Gitlab 后，自动发布…...

编程新知 2025/9/18 16:35:43