Kafka 入门到起飞 - 生产者发送消息流程解析
- 生产者通过send（）方法发送消息
- 消息会经过拦截器->序列化器->分区器 进行加工
- 然后将消息存在缓冲区
- 当缓冲区中消息达到条件会按批次发送到broker对应分区上
- broker将接收到的消息进行刷盘持久化
- 消息处理broker会返回给producer响应
- 落盘成功
- 返回元数据信息 - > 生产者继续发送后面消息
- 落盘失败 - 生产者设置了重试次数
- 生产者去缓冲区重试发送
Tip：
-
Producer 创建时，会创建一个Sender线程设置为守护线程
-
Producer 创建时，会创建缓冲区
-
Producer 生产消息，内部是一个异步流程
-
RecordAccumulator（缓冲区） 对每一个分区都有一个缓冲区
- 每个分区的缓冲区中消息也是有序的
- 可以指定缓冲区中的消息按
批次发送- 缓冲区大小达到
batch.size lingger.ms达到上限- 以上两个条件满足一个即发送一批
- 缓冲区大小达到
- 可以指定整个缓冲区的大小
批次的概念很好理解，缓冲区就像一辆公交车，有两种发车方式，一是人满了就发车，一是等5分钟就发车，不管是人满了还是到5分钟了，发车，go~
- 一个批次消息发送后，通过网络，发往Kafka指定分区，然后刷盘到broker
- 如果Producer设置了
retries参数值>0,那么允许消息发送失败进行重试，重试机制由客户端Producer内部实现 - Broker端消息落盘成功，会返回元数据给生产者
- 通过阻塞直接返回 （同步发送）
- 通过回调函数返回（异步发送）
相关文章：
Kafka 入门到起飞 - 生产者发送消息流程解析
生产者通过send（）方法发送消息消息会经过拦截器->序列化器->分区器 进行加工然后将消息存在缓冲区当缓冲区中消息达到条件会按批次发送到broker对应分区上broker将接收到的消息进行刷盘持久化消息处理broker会返回给producer响应落盘成功返回元数据…...
基于单片机智能台灯坐姿矫正器视力保护器的设计与实现
功能介绍 以51单片机作为主控系统；LCD1602液晶显示当前当前光线强度、台灯灯光强度、当前时间、坐姿距离等；按键设置当前时间，闹钟、提醒时间、坐姿最小距离；通过超声波检测坐姿，当坐姿不正容易对眼睛和身体腰部等造成…...
欧姆龙以太网模块如何设置ip连接 Kepware opc步骤
在数字化和自动化的今天，PLC在工业控制领域的作用日益重要。然而，PLC通讯口的有限资源成为了困扰工程师们的问题。为了解决这一问题，捷米特推出了JM-ETH-CP转以太网模块，让即插即用的以太网通讯成为可能，不仅有效利用了…...
PLEX如何搭建个人局域网的视频网站
Plex是一款功能非常强大的影音媒体管理系统，最大的优势是多平台支持和界面优美，几乎可以在所有的平台上安装plex服务器和客户端，让你可以随时随地享受存储在家中的电影、照片、音乐，并且可以实现观看记录无缝衔接，手机…...
java学习02
一、基本数据类型 Java有两大数据类型，内置数据类型和引用数据类型。 内置数据类型 Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。 byte࿱…...
libcurl库使用实例
libcurl libcurl是一个功能强大的跨平台网络传输库，支持多种协议，包括HTTP、FTP、SMTP等，同时提供了易于使用的API。 安装 ubuntu18.04平台安装 sudo apt-get install libcurl4-openssl-dev实例 这个示例使用libcurl库发送一个简单的HTTP …...
大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体
前言 本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库 数据仓库是一个面向主题的&…...
ESP32（MicroPython） 网页控制五自由度机械臂
ESP32（MicroPython） 网页控制五自由度机械臂 本程序通过网页控制五自由度机械臂，驱动方案改用PCA9685。 代码如下 #导入Pin模块 from machine import Pin import time from machine import SoftI2C from servo import Servos import networ…...
前端笔记_OAuth规则机制下实现个人站点接入qq三方登录
文章目录 ⭐前言⭐qq三方登录流程💖qq互联中心创建网页应用💖配置回调地址redirect_uri💖流程分析 ⭐思路分解⭐技术选型实现💖技术选型：💖实现 ⭐结束 ⭐前言 大家好，我是yma16，本…...
huggingface新作品：快速和简便的训练模型
AutoTrain Advanced是一个用于训练和部署最先进的机器学习模型的工具。它旨在提供更快速、更简便的方式来进行模型训练和部署。 安装 您可以通过PIP安装AutoTrain-Advanced的Python包。请注意，为了使AutoTrain Advanced正常工作，您将需要python > 3.…...
利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析
摘要 本文主要介绍了共享储能的 SCADA 系统大数据架构，以及如何利用鸿鹄来更好的优化 SCADA 系统功能，如何为用户进行数据自助分析赋能。 1、共享储能介绍 说到共享储能，可能不少朋友比较陌生，下面我们简单介绍一下共享储能的价值…...
noSQL语句练习
Redis练习题 string list hash结构中，每个至少完成5个命令，包含插入 修改 删除 查询，list 和hash还需要增加遍历的操作命令 1、 string类型数据的命令操作： （1） 设置键值： 127.0.0.1:63…...
Spring：Bean生命周期
Bean 生命周期生命周期 Bean 生命周期是 bean 对象从创建到销毁的整个过程。 简单的 Bean 生命周期的过程： 1.实例化（调用构造方法对 bean 进行实例化） 2.依赖注入（调用 set 方法对 bean 进行赋值） 3.初始化（手动配置 xml 文件中 bean 标签的 init-method 属性值，来指…...
Vue自定义指令
需求1：定义一个v-big指令，和v-text功能类似，但会把绑定的数值放大10倍。 需求2：定义一个v-fbind指令，和v-bind功能类似，但可以让其所绑定的input元素默认获取焦点。 自定义指令函数式v-big： &l…...
SpringBoot+JWT实现单点登录解决方案
一、什么是单点登录? 单点登录是一种统一认证和授权机制，指在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的系统，不需要重新登录验证。 单点登录一般用于互相授信的系统，实现单一位置登录，其他信任的…...
中国国债发行数据集（2002-2023）
国债是由国家发行的债券，由于国债的发行主体是国家，所以它具有最高的信用度，被公认为是最安全的投资工具。国债按照交易市场的不同分为三类，即银行间市场国债、交易所市场国债和柜台市场国债；按照交易方式的不同分为三…...
曲师大2023大一新生排位赛-C.String题解
C.String 题目描述 众所周知，许师哥精通字符串。 一天，许师哥意外的获得了一个字符串，但他发现这个字符串并不是一个回文串，因此他非常生气。于是他决定从这个字符串中删除若干个字符使得 剩余的字符串为一个回文串。 回想回文串…...
Linux Ubuntu安装RabbitMQ服务
文章目录 前言1.安装erlang 语言2.安装rabbitMQ3. 内网穿透3.1 安装cpolar内网穿透(支持一键自动安装脚本)3.2 创建HTTP隧道 4. 公网远程连接5.固定公网TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 RabbitMQ是一个在 AMQP(高级消息队列协议)基…...
什么是测试用例？如何设计？
在学习或者实际的测试工作中经常都会提到“测试用例”这个词，没错，测试用例是测试工作的核心，不管要做的是什么样的测试，在真正动手执行测试之前，我们都需要先根据软件需求来设计测试用例，之后再依据设计好…...
Maven —— 项目管理工具
前言 在这篇文章中，荔枝会介绍如何在项目工程中借助Maven的力量来开发，主要涉及Maven的下载安装、环境变量的配置、IDEA中的Maven的路径配置和信息修改以及通过Maven来快速构建项目。希望能对需要配置的小伙伴们有帮助哈哈哈哈~~~ 文章目录 前言 一、初…...
【前端】js如何处理计算精度问题
JavaScript 的精度问题源于其遵循 IEEE 754 标准的 64 位双精度浮点数表示法，导致 0.1 0.2 ! 0.3 等经典问题。以下是系统化的解决方案及适用场景： ⚙️ 一、整数转换法（适合简单运算） 将小数转换为整数运算后再还原࿰…...
C++.OpenGL （7/64）摄像机（Camera）
摄像机（Camera） 摄像机系统核心组件 #mermaid-svg-lmysTXAyyzKytiOC {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-lmysTXAyyzKytiOC .error-icon{fill:#552222;}#mermaid-svg-lmysTXAyyzKytiOC .error-text{fi…...
强化学习入门：Gym实现CartPole随机智能体
前言 最近想开一个关于强化学习专栏，因为DeepSeek-R1很火，但本人对于LLM连门都没入。因此，只是记录一些类似的读书笔记，内容不深，大多数只是一些概念的东西，数学公式也不会太多，还望读者多多指教…...
汽车的安全性能测试：试验台铁地板的重要性
汽车的安全性能测试是非常重要的，其中试验台铁地板的设计和材料选择起着至关重要的作用。试验台铁地板是指在进行汽车碰撞、侧翻等试验时，用于支撑汽车底部和提供稳定支撑的重要部件。 在进行汽车碰撞试验时，试验台铁地板的设计和材料需要具…...
2025年06月06日Github流行趋势
项目名称：agent-zero 项目地址url：https://github.com/frdel/agent-zero项目语言：Python历史star数：8958今日star数：324项目维护者：frdel, 3clyp50, linuztx, evrardt, Jbollenbacher项目简介：A…...
PyCharm项目和文件运行时使用conda环境的教程
打开【文件】—【新建项目】 按照下图配置环境 可以看到我这个项目里，报错“No module named modelscope” 点击终端，输入命令 #显示所有的conda环境 conda env list #选择需要激活的conda环境 conda activate XXX在终端中，执行pip install …...
Unity中的MonoSingleton＜T＞与Singleton＜T＞
1.MonoSingleton 代码部分 using UnityEngine;/// <summary> /// MonoBehaviour单例基类 /// 需要挂载到GameObject上使用 /// </summary> public class MonoSingleton<T> : MonoBehaviour where T : MonoSingleton<T> {private static T _instance;…...
关于大数据的基础知识（一）——定义特征结构要素
成长路上不孤单😊😊😊😊😊😊 【14后😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于大数据的基础知识（一&a…...
AI系统负载均衡与动态路由
载均衡与动态路由 在微服务架构中，负载均衡是实现服务高可用和性能优化的关键机制。传统负载均衡技术通常围绕请求数、连接数、CPU占用率等基础指标进行分发，而在AI系统中，特别是多模型、多异构算力（如CPU、GPU、TPU）共存的环境下，负载均衡不仅要考虑节点资源消耗，还需…...
Dify工作流实践—根据word需求文档编写测试用例到Excel中
前言 这篇文章依赖到的操作可查阅我之前的文章： dify里的大模型是怎么添加进来的：在Windows本地部署Dify详细操作 flask 框架app.route()函数的开发和调用：PythonWeb开发框架—Flask工程创建和app.route使用详解 结构化提示词的编写&…...