当前位置： 首页 > news >正文

Kafka 入门到起飞 - 生产者发送消息流程解析

news 2026/3/27 23:43:12

在这里插入图片描述

  1. 生产者通过send（）方法发送消息
  2. 消息会经过拦截器->序列化器->分区器 进行加工
  3. 然后将消息存在缓冲区
  4. 当缓冲区中消息达到条件会按批次发送到broker对应分区上
  5. broker将接收到的消息进行刷盘持久化
  6. 消息处理broker会返回给producer响应
  7. 落盘成功
  8. 返回元数据信息 - > 生产者继续发送后面消息
  9. 落盘失败 - 生产者设置了重试次数
  10. 生产者去缓冲区重试发送

Tip：

  • Producer 创建时，会创建一个Sender线程设置为守护线程

  • Producer 创建时，会创建缓冲区

  • Producer 生产消息，内部是一个异步流程

  • RecordAccumulator（缓冲区） 对每一个分区都有一个缓冲区

    • 每个分区的缓冲区中消息也是有序的
    • 可以指定缓冲区中的消息按批次发送
      • 缓冲区大小达到batch.size
      • lingger.ms 达到上限
      • 以上两个条件满足一个即发送一批
    • 可以指定整个缓冲区的大小

批次的概念很好理解，缓冲区就像一辆公交车，有两种发车方式，一是人满了就发车，一是等5分钟就发车，不管是人满了还是到5分钟了，发车，go~

  • 一个批次消息发送后，通过网络，发往Kafka指定分区，然后刷盘到broker
  • 如果Producer设置了retries参数值>0,那么允许消息发送失败进行重试，重试机制由客户端Producer内部实现
  • Broker端消息落盘成功，会返回元数据给生产者
    • 通过阻塞直接返回 （同步发送）
    • 通过回调函数返回（异步发送）

相关文章：

Kafka 入门到起飞 - 生产者发送消息流程解析

生产者通过send（）方法发送消息消息会经过拦截器->序列化器->分区器 进行加工然后将消息存在缓冲区当缓冲区中消息达到条件会按批次发送到broker对应分区上broker将接收到的消息进行刷盘持久化消息处理broker会返回给producer响应落盘成功返回元数据…...

编程日记 2023/7/21 11:59:21

基于单片机智能台灯坐姿矫正器视力保护器的设计与实现

功能介绍 以51单片机作为主控系统；LCD1602液晶显示当前当前光线强度、台灯灯光强度、当前时间、坐姿距离等；按键设置当前时间，闹钟、提醒时间、坐姿最小距离；通过超声波检测坐姿，当坐姿不正容易对眼睛和身体腰部等造成…...

编程日记 2023/7/21 11:26:00

欧姆龙以太网模块如何设置ip连接 Kepware opc步骤

在数字化和自动化的今天，PLC在工业控制领域的作用日益重要。然而，PLC通讯口的有限资源成为了困扰工程师们的问题。为了解决这一问题，捷米特推出了JM-ETH-CP转以太网模块，让即插即用的以太网通讯成为可能，不仅有效利用了…...

编程日记 2023/7/21 10:52:39

PLEX如何搭建个人局域网的视频网站

Plex是一款功能非常强大的影音媒体管理系统，最大的优势是多平台支持和界面优美，几乎可以在所有的平台上安装plex服务器和客户端，让你可以随时随地享受存储在家中的电影、照片、音乐，并且可以实现观看记录无缝衔接，手机…...

编程日记 2023/7/21 10:19:18

java学习02

一、基本数据类型 Java有两大数据类型，内置数据类型和引用数据类型。 内置数据类型 Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。 byte&#xff1…...

编程日记 2023/7/21 9:45:56

libcurl库使用实例

libcurl libcurl是一个功能强大的跨平台网络传输库，支持多种协议，包括HTTP、FTP、SMTP等，同时提供了易于使用的API。 安装 ubuntu18.04平台安装 sudo apt-get install libcurl4-openssl-dev实例 这个示例使用libcurl库发送一个简单的HTTP …...

编程日记 2023/7/21 9:12:35

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

前言 本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库 数据仓库是一个面向主题的&…...

编程日记 2023/7/21 8:39:14

ESP32（MicroPython） 网页控制五自由度机械臂

ESP32（MicroPython） 网页控制五自由度机械臂 本程序通过网页控制五自由度机械臂，驱动方案改用PCA9685。 代码如下 #导入Pin模块 from machine import Pin import time from machine import SoftI2C from servo import Servos import networ…...

编程日记 2023/7/21 8:05:53

前端笔记_OAuth规则机制下实现个人站点接入qq三方登录

文章目录 ⭐前言⭐qq三方登录流程💖qq互联中心创建网页应用💖配置回调地址redirect_uri💖流程分析 ⭐思路分解⭐技术选型实现💖技术选型：💖实现 ⭐结束 ⭐前言 大家好，我是yma16，本…...

编程日记 2023/7/21 7:32:31

huggingface新作品：快速和简便的训练模型

AutoTrain Advanced是一个用于训练和部署最先进的机器学习模型的工具。它旨在提供更快速、更简便的方式来进行模型训练和部署。 安装 您可以通过PIP安装AutoTrain-Advanced的Python包。请注意，为了使AutoTrain Advanced正常工作，您将需要python > 3.…...

编程日记 2023/7/21 6:59:10

利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析

摘要 本文主要介绍了共享储能的 SCADA 系统大数据架构，以及如何利用鸿鹄来更好的优化 SCADA 系统功能，如何为用户进行数据自助分析赋能。 1、共享储能介绍 说到共享储能，可能不少朋友比较陌生，下面我们简单介绍一下共享储能的价值…...

编程日记 2023/7/21 6:25:48

noSQL语句练习

Redis练习题 string list hash结构中，每个至少完成5个命令，包含插入 修改 删除 查询，list 和hash还需要增加遍历的操作命令 1、 string类型数据的命令操作： （1） 设置键值： 127.0.0.1:63…...

编程日记 2023/7/21 5:52:26

Spring：Bean生命周期

Bean 生命周期生命周期 Bean 生命周期是 bean 对象从创建到销毁的整个过程。 简单的 Bean 生命周期的过程： 1.实例化（调用构造方法对 bean 进行实例化） 2.依赖注入（调用 set 方法对 bean 进行赋值） 3.初始化（手动配置 xml 文件中 bean 标签的 init-method 属性值，来指…...

编程日记 2023/7/21 5:19:04

Vue自定义指令

需求1：定义一个v-big指令，和v-text功能类似，但会把绑定的数值放大10倍。 需求2：定义一个v-fbind指令，和v-bind功能类似，但可以让其所绑定的input元素默认获取焦点。 自定义指令函数式v-big： &l…...

编程日记 2023/7/21 4:45:43

SpringBoot+JWT实现单点登录解决方案

一、什么是单点登录? 单点登录是一种统一认证和授权机制，指在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的系统，不需要重新登录验证。 单点登录一般用于互相授信的系统，实现单一位置登录，其他信任的…...

编程日记 2023/7/21 4:12:21

中国国债发行数据集（2002-2023）

国债是由国家发行的债券，由于国债的发行主体是国家，所以它具有最高的信用度，被公认为是最安全的投资工具。国债按照交易市场的不同分为三类，即银行间市场国债、交易所市场国债和柜台市场国债；按照交易方式的不同分为三…...

编程日记 2023/7/21 3:39:00

曲师大2023大一新生排位赛-C.String题解

C.String 题目描述 众所周知，许师哥精通字符串。 一天，许师哥意外的获得了一个字符串，但他发现这个字符串并不是一个回文串，因此他非常生气。于是他决定从这个字符串中删除若干个字符使得 剩余的字符串为一个回文串。 回想回文串…...

编程日记 2023/7/21 3:05:39

Linux Ubuntu安装RabbitMQ服务

文章目录 前言1.安装erlang 语言2.安装rabbitMQ3. 内网穿透3.1 安装cpolar内网穿透(支持一键自动安装脚本)3.2 创建HTTP隧道 4. 公网远程连接5.固定公网TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 RabbitMQ是一个在 AMQP(高级消息队列协议)基…...

编程日记 2023/7/21 2:32:18

什么是测试用例？如何设计？

在学习或者实际的测试工作中经常都会提到“测试用例”这个词，没错，测试用例是测试工作的核心，不管要做的是什么样的测试，在真正动手执行测试之前，我们都需要先根据软件需求来设计测试用例，之后再依据设计好…...

编程日记 2023/7/21 1:58:57

Maven —— 项目管理工具

前言 在这篇文章中，荔枝会介绍如何在项目工程中借助Maven的力量来开发，主要涉及Maven的下载安装、环境变量的配置、IDEA中的Maven的路径配置和信息修改以及通过Maven来快速构建项目。希望能对需要配置的小伙伴们有帮助哈哈哈哈~~~ 文章目录 前言 一、初…...

编程日记 2023/7/21 1:25:36

LWIP内存管理踩坑实录：从pbuf泄漏到pcb耗尽，我的嵌入式网络调试日记

LWIP内存管理踩坑实录：从pbuf泄漏到pcb耗尽，我的嵌入式网络调试日记 凌晨三点，调试器上的红色LED还在闪烁。这是我连续第三个通宵追踪LWIP的内存问题——设备在运行48小时后必然崩溃，日志里满是"pbuf_alloc failed"和&q…...

编程新知 2026/3/27 22:28:16

终极LxgwWenKai字体配置指南：如何为VSCode和IDEA打造完美中文编程体验

终极LxgwWenKai字体配置指南：如何为VSCode和IDEA打造完美中文编程体验 【免费下载链接】LxgwWenKai LxgwWenKai: 这是一个开源的中文字体项目，提供了多种版本的字体文件，适用于不同的使用场景，包括屏幕阅读、轻便版、GB规范字形和…...

编程新知 2026/3/27 22:28:16

ClawdBot实战教程：零基础搭建个人AI助手的完整流程

ClawdBot实战教程：零基础搭建个人AI助手的完整流程 1. ClawdBot简介：你的本地AI助手 ClawdBot是一个可以在个人设备上运行的AI助手解决方案，基于vLLM提供后端模型能力。与常见的云端AI服务不同，它完全运行在本地环境中&#xff…...

编程新知 2026/3/27 21:50:00

别再瞎装了！用NVIDIA-SMI一键查CUDA版本，保姆级PyTorch 2.6.0安装避坑指南

深度学习环境搭建实战：从CUDA版本诊断到PyTorch 2.6.0完美安装 刚接触深度学习的新手最常遇到的"入门杀"问题，往往不是模型调参或代码编写，而是环境搭建这个看似简单的环节。我见过太多人在安装PyTorch时直接复制粘贴网上的pip命令…...

编程新知 2026/3/27 21:45:58

VAP：腾讯开源的高性能动画播放引擎，如何让你的应用动起来更流畅？

VAP：腾讯开源的高性能动画播放引擎，如何让你的应用动起来更流畅？ 【免费下载链接】vap VAP是企鹅电竞开发，用于播放特效动画的实现方案。具有高压缩率、硬件解码等优点。同时支持 iOS,Android,Web 平台。 项目地址: https://git…...

编程新知 2026/3/27 20:49:39

Wan2.2-I2V-A14B镜像免配置实战：开箱即用，省去PyTorch/CUDA环境冲突烦恼

Wan2.2-I2V-A14B镜像免配置实战：开箱即用，省去PyTorch/CUDA环境冲突烦恼 1. 镜像概述与核心优势 Wan2.2-I2V-A14B是一款专为文生视频任务优化的私有部署镜像，基于RTX 4090D 24GB显存显卡和CUDA 12.4环境深度定制。这个镜像的最大特点是开箱…...

编程新知 2026/3/27 20:23:30

Dlib零基础避坑指南：Windows Python环境一键部署实战

Dlib零基础避坑指南：Windows Python环境一键部署实战 【免费下载链接】Dlib_Windows_Python3.x Dlib compiled binary (.whl) for Python 3.7-3.11 and Windows x64 项目地址: https://gitcode.com/gh_mirrors/dl/Dlib_Windows_Python3.x 副标题：…...

编程新知 2026/3/27 17:15:55

洛谷 P1833：樱花 ← 混合背包（01 + 完全 + 多重）

【题目来源】 https://www.luogu.com.cn/problem/P1833 【题目描述】 爱与愁大神后院里种了 n 棵樱花树&#xff0c;每棵都有美学值 Ci(0<Ci≤200)。爱与愁大神在每天上学前都会来赏花。爱与愁大神可是生物学霸&#xff0c;他懂得如何欣赏樱花&#xff1a;一种樱花树看一遍…...

编程新知 2026/3/27 17:11:53

海康WEBSDK无插件版实战：零基础构建WEB端网络摄像机实时监控系统

1. 环境准备&#xff1a;5分钟搞定基础配置 第一次接触海康WEBSDK无插件版时&#xff0c;我也被那些专业术语吓到过。但实际操作后发现&#xff0c;只要准备好三样东西就能开工&#xff1a;一台能联网的电脑、海康网络摄像机、以及从官网下载的开发包。这里分享几个新手容易踩的…...

编程新知 2026/3/27 17:03:37

使用PyTorch Lightning优化PETRV2-BEV模型训练流程

使用PyTorch Lightning优化PETRV2-BEV模型训练流程 如果你正在训练像PETRV2这样的BEV感知模型&#xff0c;可能已经体会过那种“一步一坑”的感觉。数据加载复杂、多GPU训练配置繁琐、日志记录混乱、实验难以复现……这些工程上的琐事&#xff0c;常常比模型本身更让人头疼。 …...

编程新知 2026/3/27 17:03:35