当前位置： 首页 > news >正文

Kafka-Java二：Spring实现kafka消息发送的ack机制

news 2025/5/29 5:22:05

写在前面

        如果只有一个kafka实例的话，那么文章中提到kafka集群=kafka实例

一、什么是消息发送者端的ack机制

        ack机制：消息确认发送成功的标识

        由谁发起该标识：kafka集群

        发起该标识的场景：kafka集群确认已经收到了消息。

        由谁接收该标识：消息发送者端

        接收该标识的意义：消息发送者接到该标识，才表示消息发送成功。

二、消息发送者端ack机制的策略有哪些

2.1、ack=0

        kafka集群不需要任何broker收到消息，就立即返回ack给生产者。

        该模式最容易丢失消息，但效率最高

2.2、akc=1

        kafka默认的ack机制策略

        kafka集群中，Leader的broker收到了消息，并且把消息写入到了log文件中，此时才返回ack给kafka。

        该模式性能和安全性是最均衡的。

2.3、ack=-1/all

        配置文件中的min.insyc.replicas=2(默认为1,推荐配置2)将生效。

        min.insyc.replicas=n：当kafka集群接受到消息以后，当kafka集群完成了n个broker(包含Leader和follower)上的备份以后，再回复ack。

        该模式最安全，但性能最差

三、消息发送失败的重试策略

        消息发送失败会重试，重试的默认时间是100ms,重试的默认次数是3。

        重试保证了消息的可靠性，但也可能造成消息的重复发送，比如说网络抖动。

        所以需要在消费者做好消息接口的幂等性操作

四、通过Java设置kafka的ack机制和重试策略

Properties props = new Properties();// 一、设置参数// 配置kafka地址
//        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
//                "192.168.151.28:9092"); // 单机配置props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.154.128:9092,192.168.154.128:9093,192.168.154.128:9094"); // 集群配置// 配置消息 键值的序列化规则props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());// 配置生产者发送消息的ack机制/*** ack=0：*   kafka集群不需要任何broker收到消息，就立即返回ack给生产者。*   该模式最容易丢失消息，但效率最高* akc=1：(kafka默认的方式)*   kafka集群中，Leader的broker收到了消息，并且把消息写入到了log文件中，此时才返回ack给kafka。*   该模式性能和安全性是最均衡的。* ack=-1/all：*   默认配置文件中的min.insyc.replicas=2(默认为1,推荐配置2)将生效。*   min.insyc.replicas=n解释：当kafka集群接受到消息以后，当kafka集群完成了n个broker(包含Leader和follower)上的备份以后，再回复ack。*   该模式最安全，但性能最差*/props.put(ProducerConfig.ACKS_CONFIG,"1");// 配置消息发送时间(未接收到ack)的重试次数和重试间隔时间/***  消息发送失败(即没有收到ack)的重试次数和重试间隔*   消息发送失败会重试，重试的默认时间是100ms,重试的默认次数是3.*   重试保证了消息的可靠性，但也可能造成消息的重复发送，比如说网络抖动。所以需要在消费者做好消息接口的幂等性操作*/props.put(ProducerConfig.RETRIES_CONFIG,"3");props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG,"300"); // 重试间隔

相关文章：

Kafka-Java二：Spring实现kafka消息发送的ack机制

写在前面 如果只有一个kafka实例的话，那么文章中提到kafka集群kafka实例 一、什么是消息发送者端的ack机制 ack机制：消息确认发送成功的标识 由谁发起该标识：kafka集群 发起该标识的场景：kafka集群确认已经收到了消息。 由谁接收…...

编程日记 2023/10/26 1:08:39

Go代码解密：理解byte和int8的边界行为

今天看到一个很有意思的 Golang 代码，最后的输出结果为 4： func main() {count : 0for i : range [256]struct{}{} {m, n : byte(i), int8(i)if n -n {count}if m -m {count}}fmt.Println(count) // 输出为 4 }原因如下 当 i 0 时，n -n …...

编程日记 2023/10/26 1:07:36

Mac M1下使用Colima替代docker desktop搭建云原生环境

文章目录 为什么不使用docker desktop1.docker desktop卸载2.docker、docker compose安装3.colima安装3.1获取镜像地址3.2将下载好的iso文件放到colima指定路径3.3重新执行colima start 4.minikukekubernetes安装5.关闭minikube Mac M1下使用Colima替代docker desktop搭建云原生…...

编程日记 2023/10/26 1:06:35

Non-constant range: argument must be an integer literal

更新 Xcode IDE 后 ForEach 方法抛出了如下异常 Non-constant range: argument must be an integer literal 新增了指向性 id 参数 init(_:content:) 原始方法 ForEach(0 ..< pickerTitleColors.count) {Text(self.pickerTitleColors[$0]).tag($0).foregroundColor(self.…...

编程日记 2023/10/26 1:05:35

TCP网络通信

TCP通信的 实现发1收1 package TCP1;//完成TCP通信的 实现发1收1import java.io.DataOutputStream; import java.io.ObjectOutputStream; import java.io.OutputStream; import java.net.InetAddress; import java.net.Socket;public class Client {public static void main(S…...

编程日记 2023/10/26 1:04:32

echarts中，X轴名称过长隐藏，鼠标hove显示全称

echarts中&#xff0c;X轴名称过长隐藏&#xff0c;鼠标hove显示全称&#xff1a; <div id"main" :style"{ width: 100%, height: 100% }"></div>option: {title: {text: 重点物料库存预警,left: center},tooltip: {trigger: axis,axisPointer…...

编程日记 2023/10/26 1:03:31

laravel框架介绍(二) 打开站点：autoload.php报错

Laravel&#xff1a;require..../vendor/autoload.php错误的解决办法 打开站点&#xff1a;http://laraveltest.com:8188/set_api-master/public/ set_api-master\public\index.php文件内容为&#xff1a; 解决办法&#xff1a; 1. cd 到该引用的根目录&#xff0c;删除 compo…...

编程日记 2023/10/26 1:02:28

reactNative导入excel文件

组件内导入 import {TouchableOpacity,PermissionsAndroid} from react-native; import RNFS from react-native-fs; import XLSX from xlsx; import DocumentPicker from react-native-document-picker; import {Buffer} from buffer;// 需要安装一下三个,Buffer和react-nati…...

编程日记 2023/10/26 1:00:26

mysql 命令行安装

一、安装包下载 1、下载压缩包 &#xff08;1&#xff09;公众号获取 关注微信公众号【I am Walker】&#xff0c;回复“mysql”获取 &#xff08;2&#xff09;官网下载 安装地址MySQL :: Download MySQL Community Server ​ ​ 二、解压 下载完之后进行解压&…...

编程日记 2023/10/26 0:59:25

JAVA基础知识Fundamental

JAVA基础知识 Java开发环境名词解释 八大基本类型整型长整型双精度浮点型布尔型字符型类型间的转换 运算符&#xff08;Operator&#xff09;算术运算符关系运算符逻辑运算符赋值运算符字符串连接运算符条件运算符 分支结构循环结构数组方法方法的重载&#xff08;overloading&…...

编程日记 2023/10/26 0:58:24

民宿如何经营与管理？【民宿小程序】

随着旅游业的快速发展&#xff0c;越来越多的人选择经营民宿&#xff0c;将自己的房屋开放给旅客入住。然而&#xff0c;要成功经营一家民宿&#xff0c;并保持良好的运营状态&#xff0c;需要有效的管理和营销策略。在这个过程中&#xff0c;民宿小程序能够发挥重要作用。 民宿…...

编程日记 2023/10/26 0:57:23

用 Rust 和 cURL 库制作一个有趣的爬虫

目录 一、介绍 二、准备工作 三、代码实现 四、解析 HTML 并提取特定元素示例 总结 本文将介绍如何使用 Rust 编程语言和 cURL 库制作一个有趣的网络爬虫。我们将通过实例代码来展示如何抓取网页内容、处理数据和解析 HTML 结构。同时&#xff0c;还将探讨爬虫技术的原理、…...

编程日记 2023/10/26 0:56:22

华为OD 走方格的方案数（100分）【java】A卷+B卷

华为OD统一考试A卷+B卷 新题库说明 你收到的链接上面会标注A卷还是B卷。目前大部分收到的都是B卷。 B卷对应往年部分考题以及新出的题目。 我将持续更新最新题目 我精选了一部分题目免费分享给大家，可前往夸克网盘转存，请点击以下链接进入： 我用夸克网盘分享了「华为OD题库J…...

编程日记 2023/10/26 0:55:21

postgresql|数据库|序列Sequence的创建和管理

前言&#xff1a; Sequence也是postgresql数据库里的一种对象&#xff0c;其属性如同索引一样&#xff0c;但通常Sequence是配合主键来工作的&#xff0c;这一点不同于MySQL&#xff0c;MySQL的主键自增仅仅是主键的属性做一个更改&#xff0c;而postgresql的主键自增是需要序…...

编程日记 2023/10/26 0:54:20

(完全解决)如何输入一个图的邻接矩阵（每两个点的亲密度矩阵affinity）,然后使用sklearn进行谱聚类

文章目录 背景输入点直接输入邻接矩阵 背景 网上倒是有一些关于使用sklearn进行谱聚类的教程&#xff0c;但是这些教程的输入都是一些点的集合&#xff0c;然后根据谱聚类的原理&#xff0c;其会每两个点计算一次亲密度&#xff08;可以认为两个点距离越大&#xff0c;亲密度越…...

编程日记 2023/10/26 0:52:19

Unity中Shader的ShaderLOD

文章目录 前言一、ShaderLOD的使用步骤1、ShaderLOD使用在不同的SubShader中&#xff0c;用于区分SubShader所对应的配置2、在 C# 中使用 Shader.globalMaximumLOD 赋值来选择不同的 SubShader,以达到修改配置对应Shader的效果3、在设置LOD时&#xff0c;是需要和程序讨论统一 …...

编程日记 2023/10/26 0:51:17

图像压缩（4）《数字图像处理》第八章 8.3节 数字图像水印

图像压缩&#xff08;3&#xff09;《数字图像处理》第八章8.3节数字图像水印 一. 前言二.章节引言三.简单综述三.本章小结四.参考文献四. 小结 一. 前言 始于那本深蓝色的大块头&#xff0c;冈萨勒斯的《数字图像处理》&#xff0c;从此走上了图像信号处理的不归路&#xff0…...

编程日记 2023/10/26 0:50:16

C++之lambda匿名函数总结(二百四十五)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…...

编程日记 2023/10/26 0:49:15

STM32F103单片机内部RTC实时时钟驱动程序

一、STM32f103系列RTC功能 RTC实时时钟功能是嵌入式软件开发中比较常用的功能&#xff0c;一般MCU的RTC功能都带有年月日时间寄存器&#xff0c;比如STM32F4xx系列&#xff0c;RTC描述如下&#xff1a; 可见F4系列的RTC功能比较强大&#xff0c;设置好初始时间后&#xff0c;读…...

编程日记 2023/10/26 0:48:13

ChinaSoft 论坛巡礼 | 开源软件生态健康度量论坛

2023年CCF中国软件大会&#xff08;CCF ChinaSoft 2023&#xff09;由CCF主办&#xff0c;CCF系统软件专委会、形式化方法专委会、软件工程专委会以及复旦大学联合承办&#xff0c;将于2023年12月1-3日在上海国际会议中心举行。 本次大会主题是“智能化软件创新推动数字经济与社…...

编程日记 2023/10/26 0:47:13

Leetcode.2698 求一个整数的惩罚数

题目链接 Leetcode.2698 求一个整数的惩罚数 rating : 1679 题目描述 给你一个正整数 n n n &#xff0c;请你返回 n n n 的 惩罚数 。 n n n 的 惩罚数 定义为所有满足以下条件 i i i 的数的平方和&#xff1a; 1 ≤ i ≤ n 1 \leq i \leq n 1≤i≤n i ∗ i i * i i∗i 的…...

编程日记 2023/10/26 0:46:12

大数据Flink（一百零二）：SQL 聚合函数（Aggregate Function）

文章目录 SQL 聚合函数（Aggregate Function） SQL 聚合函数（Aggregate Function） Python UDAF，即 Python AggregateFunction。Python UDAF 用来针对一组数据进行聚合运算，比如同一个 window 下的多条数据、或者同一个 key 下的多条数据等。针对同一组输入数据，Python A…...

编程日记 2023/10/26 0:45:11

因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3 问题描述&#xff1a;日志定位&#xff1a; 问题描述&#xff1a; 例行Hive作业报错 日志定位&#xff1a; Starting to launch local task to process map join; maximum memory 5172101120 [2023-10-16 07:56:51,530] - INFO:…...

编程日记 2023/10/26 0:44:10

pip 指定源

pip定源 # 指定豆瓣 python -m pip install transformers -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com参考 出现错误&#xff1a;Looking in indexes:https://pypi.tuna.tsinghua.edu.cn/simple...

编程日记 2023/10/26 0:43:09

嵌入式中的MCU、ARM、DSP、FPGA

目录 “角色扮演” MCU ARM 特点 DSP 特点 FPGA 特点 应用 “角色扮演” MCU&#xff08;Microcontroller Unit&#xff09;、ARM&#xff08;Advanced RISC Machine&#xff09;、DSP&#xff08;Digital Signal Processor&#xff09;和FPGA&#xff08;Field-Progr…...

编程日记 2023/10/26 0:42:08

二、PHP基础学习[变量]

部分内容引用自&#xff1a;https://blog.csdn.net/lady_killer9/article/details/108978062 一、PHP基础学习 1.语法与注释 示例&#xff1a; <?php // PHP 代码/* 这是 PHP 多行 注释 */ ?>2.输出 示例&#xff1a;echo 123; 3.变量 规矩&#xff1a; 变量以 …...

编程日记 2023/10/26 0:41:07

k8s kubeadm配置

master 192.168.41.30 docker、kubeadm、kubelet、kubectl、flannel node01 192.168.41.31 docker、kubeadm、kubelet、kubectl、flannel node02 192.168.41.32 do…...

编程日记 2023/10/26 0:40:06

B-3：Web安全之综合渗透测试

B-3：Web安全之综合渗透测试 任务环境说明： 服务器场景：Server2104（关闭链接） 服务器场景用户名、密码：未知 1.通过URL访问http://靶机IP/1，对该页面进行渗透测试,将完成后返回的结果内容作为FLAG值提交； 通过访问IP/1，查看源代码发现flagishere，访问后发现什么也没…...

编程日记 2023/10/26 0:38:04

设计模式—设计模式总览

设计模式—设计模式总览 在 1994 年&#xff0c;由 Erich Gamma、Richard Helm、Ralph Johnson 和 John Vlissides 四人合著出版了一本名为 《Design Patterns - Elements of Reusable Object-Oriented Software》&#xff08;中文译名&#xff1a;《设计模式 - 可复用的面向对…...

编程日记 2023/10/26 0:37:03

C++ 流程控制（分支、循环、跳转）

#include<iostream>using namespace std;int main() {// 单分支和双分支cout << "please enter your age:" << endl;int age;cin >> age;if(age > 18){cout << "welcome! adult." << endl;}else{cout << &qu…...

编程日记 2023/10/26 0:36:02