当前位置：首页 > news >正文

Kafka系列之：Kafka生产者和消费者

news 2025/9/12 1:37:34

Kafka系列之：Kafka生产者和消费者

一、Kafka生产者发送流程
二、提高生产者吞吐量
三、Kafka消费方式
四、Kafka消费者总体工作流程
五、按照时间消费Kafka Topic

一、Kafka生产者发送流程

在这里插入图片描述

batch.size：只有数据积累到batch.size之后，sender才会发送数据，默认16K。
linger.ms：如果数据迟迟未达到batch.size，sender等待linger.ms设置的时间到了之后就会发送数据。单位ms，默认值是0ms，表示没有延迟。
0：生产者发送过来的数据，不需要等数据罗盘应答。
1：生产者发送过来的数据，Leader收到数据后应答。
-1：生产者发送过来的数据，Leader和ISR队列里面的所有节点收齐数据后应答，-1和all等价。

二、提高生产者吞吐量

batch.size：批次大小，默认16K
linger.ms：等待时间，修改为5-100ms

Kafka系列之：Kafka生产者和消费者

Kafka系列之：Kafka生产者和消费者一、Kafka生产者发送流程二、提高生产者吞吐量三、Kafka消费方式四、Kafka消费者总体工作流程五、按照时间消费Kafka Topic一、Kafka生产者发送流程 batch.size：只有数据积累到batch.size之后，sender才会发送数据，默认16K。linger.ms：如果…...

编程日记 2023/3/2 8:04:17

Linux进程间通信：信号量(一)

前提知识在介绍信号量之前，先来看看一些概念和一些简单的前提知识： 进程间通信的前提是让不同的进程看到同一份资源。于是，就有提出让这种资源成为一种公共资源的方法，方法的提出，导致了一种新的问题的出现&#xf…...

编程日记 2023/3/2 8:02:51

Python笔记一之excel的读取

这里我常用的 python 对于 excel 的读取库有两个，一个是 xlsxwriter 用于操作 excel 的写入，一个是 xlrd 用于 excel 文件的读取。使用的库的版本如下： xlsx1.2.6xlrd1.1.0 xlsxwriter 写入 excel 新建一个 excel import xlsxwriterpat…...

编程日记 2023/3/2 8:01:31

JavaScript Number 数字对象

文章目录JavaScript Number 数字对象JavaScript 数字所有 JavaScript 数字均为 64 位精度八进制和十六进制无穷大（Infinity）NaN - 非数字值数字可以是数字或者对象数字属性数字方法JavaScript Number 数字对象 JavaScript 只有一种数字类型。可以使用也…...

编程日记 2023/3/2 8:00:21

设计模式-服务定位器模式

设计模式-服务定位器模式一、背景1.1 服务定位模式1.2 策略模式二、代码实战2.1 服务定位器2.2 配置ServiceLocatorFactoryBean2.3 定义一个支付的接口2.4 根据不同类型处理Bean2.5 controller层三、项目结构及测试结果3.1 测试结果3.2 项目结构及源码(欢迎star)四、参考资料一…...

编程日记 2023/3/2 7:59:07

前言本篇继续介绍安卓dalvik虚拟机，介绍Dalvik虚拟技的GC流程。 GC结构体 dalvik/vm/alloc/Heap.h static const GcSpec kGcForMallocSpec {true, /* isPartial */false, /* isConcurrent */true, /* doPreserve */"GC_FOR_ALLOC" }; /* Not eno…...

编程日记 2023/3/2 7:57:58

opencv读入图片注意事项

来源：投稿作者：蓬蓬奇编辑：学姐深度学习数据预处理中常用opencv读入图片，一般在__getitem__函数中调用。本文主要介绍opencv读取图片的一些细节以及注意事项。本文中使用的图片见第6节“opencv测试使用的图片”。 1.如何通过o…...

编程日记 2023/3/2 7:56:49

学习渗透测试，考CISP-PTE还是考NISP-PT证书呢？

其实两者都可以，但是要看考生的实际需求！ 为什么说两者都可以？ 两个证书都由中国信息安全测评中心颁发，CISP-PTE（注册信息安全渗透测试工程师）,NISP-PT（国家信息安全水平考试渗透测试工程师),…...

编程日记 2023/3/2 7:55:33

记录自己遇到的关于Hashmap的面试题

一.麻烦讲述一下Hashmap的扩容原理 jdk1.8中的hashmap扩容原理 1.put流程图首先贴一张图(图片来源于传送门），多谢大佬的美图，此图已经完美的描述了put的整个流程，我也就不想自己画了，嘿嘿: 2.hashmap中几个比较重…...

编程日记 2023/3/2 7:54:11

mysql数据库之sql语句性能分析工具

一、sql执行频率。 mysql客户端连接成功后，通过show [session | global] status 命令可以提供服务器状态信息。通过如下指令，可以查看当前数据库的INSERT/UPDATE/DELETE的访问频次。 #一个下划线代表一个字符 show global status like com_; 二、慢查…...

编程日记 2023/3/2 7:52:55

搭建SpringBoot项目

文章目录前言准备工具创建项目前言为什么使用SpringBoot?它有什么好处？ SpringBoot可以快速构建出独立的Spring应用，简化了配置文件。内嵌Tomcat服务器，无须手动部署war文件。准备工具 idea2022navicat16postmanjdk1.8 创建项目 File-&…...

编程日记 2023/3/2 7:51:39

“一网统管”视频融合平台EasyCVR页面tab切换细节优化

EasyCVR视频融合平台基于云边端协同架构，能支持海量视频的轻量化接入与汇聚管理，借助大数据分析的决策判断，为网络摄像头、网络存储设备、智能终端、无人机、车载设备、移动执法仪、视频监控平台等提供一体化的视频接入、分发、存储、处理等能…...

编程日记 2023/3/2 7:50:23

【Python入门第二十天】Python Lambda

lambda 函数是一种小的匿名函数。 lambda 函数可接受任意数量的参数，但只能有一个表达式。语法 lambda arguments : expression执行表达式并返回结果： 实例一个 lambda 函数，它把作为参数传入的数字加 10，然后打印结果&…...

编程日记 2023/3/2 7:49:14

比特数据结构与算法（第四章_下）二叉树OJ（力扣：144，965,104，226，100,572）

144. 二叉树的前序遍历难度简单给你二叉树的根节点 root ，返回它节点值的前序遍历。示例 1：输入：root [1,null,2,3]输出：[1,2,3]示例 2：输入：root [ ]输出：[ ]示例 3：输入&#…...

编程日记 2023/3/2 7:47:50

【C++】inline 内联函数

文章目录📕 概念📕 使用前的准备📕 使用📕 特性📕 概念在 C 中，为了解决一些频繁调用的小函数大量消耗栈空间（栈内存）的问题，特别的引入了 inline 修饰符，表…...

编程日记 2023/3/2 7:46:42

如何审计一个智能合约

智能合约审计用于整个 DeFi 生态系统，通过对协议代码的深入审查，可以帮助解决识别错误、低效代码以及这些问题。智能合约具有不可篡改的特点，这使得审计成为任何区块链项目安全流程的关键部分。代码审计对任何应用程序都很重要，…...

编程日记 2023/3/2 7:45:06

不用PS，也能实现抠图的工具

对于非设计专业的同学来说，专门下载 PS 抠图有点大材小用，而且运用 PS 对电脑配置一定要求。不过现在有了更多选择，市面上出现了越来越多的抠图软件，不过越多的抠图软件选择也意味着需要花费时间试错因此本文将给大家推荐 3 款非常…...

编程日记 2023/3/2 7:43:52

集群化存储的概述

集群化存储的概述 1、存储的分类方式： 存储的分类-网络拓扑用于存储的网络拓扑 NAS：小米路由器；SAN：存储区网络–>网络网和存储网络区分开DAS：常见的存储；本地存储存储分类-存储技术网络拓扑存储技…...

编程日记 2023/3/2 7:42:33

asyncio 并发编程（一）

Python2 时代高性能的网络编程主要是 Twisted、Tornado 和 Gevent 这三个库，但是它们的异步代码相互之间既不兼容也不能移植。Gvanrossum 希望在 Python 3 实现一个原生的基于生成器的协程库，其中直接内置了对异步 IO 的支持，这就是 asyncio&…...

编程日记 2023/3/2 7:41:21

春招冲刺（二）：BFC 盒子面试题总结

BFC 盒子面试题总结 Q1：BFC盒子是什么？ BFC全称是Block Formatting Context 意思就是块级格式化上下文。可以把BFC看做一个容器，容器里边的元素不会影响到容器外部的元素。 Q2：如何创建BFC？ 根元素：bo…...

编程日记 2023/3/2 7:40:00

浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）

✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义（Task Definition&…...

编程新知 2025/9/10 16:14:02

浅谈 React Hooks

React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...

编程新知 2025/7/7 6:59:35

【杂谈】-递归进化：人工智能的自我改进与监管挑战

递归进化：人工智能的自我改进与监管挑战文章目录递归进化：人工智能的自我改进与监管挑战1、自我改进型人工智能的崛起2、人工智能如何挑战人类监管？3、确保人工智能受控的策略4、人类在人工智能发展中的角色5、平衡自主性与控制力6、总结与…...

编程新知 2025/7/7 5:39:43

C++：std::is_convertible

C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

编程新知 2025/6/11 15:23:57