当前位置： 首页 > news >正文

【Java面试丨消息中间件】Kafka

news 2025/12/15 20:44:17

一、kafka是如何保证消息不丢失

1. 介绍

  • 使用kafka在消息的收发过程都有可能会出现消息丢失
    （1）生产者发送消息到broker丢失
    （2）消息在broker中存储丢失
    （3）消费者从broker接收消息丢失
    在这里插入图片描述

2. 生产者发送消息到broker丢失

  • 设置异步发送：同步发送会发生阻塞，一般使用异步发送方式发送消息
    在这里插入图片描述
  • 消息重试：由于网络抖动，造成消息发送失败，可以使用kafka提供的重试机制
    在这里插入图片描述

3. 消息在broker中存储丢失

  • broker存储大体流程
    （1）生产者发送消息到达broker中
    （2）消息存储在分区中，分区分为两个不同角色，leader只有一个，follower可能会有多个
    （3）先把消息保存到leader分区中，然后由leader将消息同步到follower中
    在这里插入图片描述
  • 发送确认机制acks
    （1）要想保证数据不丢失，可以设置acks=all，在所有分区副本保存完成后，才会发送确认给生产者，性能也是最低的
    （2）实际生产环境中，最低也要设置acks=1
    在这里插入图片描述

4. 消费者从broker接收消息丢失

  • 一个kafka集群是由多个broker（kafka实例）组成的
  • 每一个broker中都存在不同的topic，并且一个topic可能存在多个分区，这些分区可能存在不同的broker中
  • 一个消费者组可能存在多个消费者，它们都是消费同一个topic，负责消费topic不同分区
  • topic分区中消息只能由消费者组中唯一一个消费者处理，不同的分区分配给不同的消费者
    在这里插入图片描述
  • 丢失消息原因
    （1）消费者默认是自动按期提交已经消费的偏移量，默认是每隔5秒提交一次。如果消费者组出现重平衡的情况，可能会重复消费或者丢失消息
    （2）可以禁用自动提交偏移量，改为手动
    在这里插入图片描述
  • 解决方案
    （1）同步提交【会阻塞，不推荐】
    （2）异步提交【偏移量可能不准确，不推荐】
    （3）同步+异步组合提交【推荐】
    在这里插入图片描述

5. 总结

在这里插入图片描述

6. 参考答案

在这里插入图片描述

二、kafka是如何保证消息的顺序性

1. 介绍

  • 问题原因
    （1）一个topic中的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储偏移量，如果消费者关联了多个分区，则不能保证消费的顺序性
  • 解决方案
    （1）发送消息时，指定分区号，往同一个分区中存储消息
    （2）发送消息时，按照相同的业务设置相同的key
    在这里插入图片描述

2. 案例分析

  • springboot集成kafkatemplate
    在这里插入图片描述

3. 参考答案

在这里插入图片描述

三、kafka的高可用机制要了解过吗

1. 介绍

  • 集群模式
  • 分区备份机制

2. 集群模式

在这里插入图片描述

3. 分区备份机制

在这里插入图片描述
在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

四、kafka数据清理机制有了解过吗

1. 介绍

  • kafka文件存储机制
  • 数据清理机制

2. kafka文件存储机制

在这里插入图片描述

3. 数据清理机制

在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

五、kafka中实现高性能的设计有了解过吗

1. 介绍

在这里插入图片描述

2. 参考答案

在这里插入图片描述

相关文章：

【Java面试丨消息中间件】Kafka

一、kafka是如何保证消息不丢失 1. 介绍 使用kafka在消息的收发过程都有可能会出现消息丢失 （1）生产者发送消息到broker丢失 （2）消息在broker中存储丢失 （3）消费者从broker接收消息丢失 2. 生产者发送消…...

编程日记 2023/8/4 7:15:54

7.数组（一维数组、二维数组、C99中的变长数组、二分查找法）

数组 1.数组的概念2.一维数组2.1 一维数组的创建2.2 一维数组的类型2.3 一维数组的初始化2.4 一维数组的下标2.5 一维数组的输入与输出2.6 一维数组在内存中的存储2.7 利用sizeof()计算数组元素的个数 3.二维数组3.1 二维数组的概念3.2 二维数组的创建3.3 二维数组的初始化3.4 …...

编程日记 2023/8/4 7:14:52

ubuntu服务器配置ftp服务

需求：配置ftp服务用于在windows电脑上直接浏览、下载、上传ubuntu服务器上的文件，用于文件共享，方便实用 效果：用户打开windows资源管理器后输入ftp://xxx.xxx.xxx.xxx （公网IP地址）后，即可浏览…...

编程日记 2023/8/4 7:13:48

IDA+Frida分析CTF样本和Frid源码和objection模块

文章目录 一些资料IDA调试命令IDA调试安卓的10个技巧objection基本使用 Wallbreaker1frida源码阅读之frida-java 第一个实例EasyJNI第二个实例objection资料 art_trace2.pyart_trace2.js IDAFrida分析CTF样本和Frid源码和objection模块 一些资料 IDA调试命令 adb devices adb…...

编程日记 2023/8/4 7:12:47

ConCurrentHashMap常见面试题

1. JDK1.7和JDK1.8中ConCurrentHashMap的实现有什么不同？ JDK1.7中的实现可以认为是大数组套小数组，大数组是Segment数组，小数组是HashEntry数组，锁是锁在大数组的元素上（Segment），力度比较大&…...

编程日记 2023/8/4 7:11:46

mysql数据备份并重置

mysql数据备份并重置 1.备份mysql数据 mysqldump -uroot --single-transaction -R -E --databases lc2 cpm a10_goods self_warehouse > /mnt/vdc1/var/lib/mysql/datadir/lc2_cpm_a10_goods_self_warehouse.sql -p Y6B2wb 2.初始化mysql mysqld --initialize; 3.修改配…...

编程日记 2023/8/4 7:10:45

I- yh的线段(2023河南萌新联赛第（四）场：河南大学)

链接：登录—专业IT笔试面试备考平台_牛客网 来源：牛客网 yh喜欢好线段，好线段即两条线段相交且不与其他线段重合的线段。 两条线段[l1,r1]和[l2,r2]相交(如果存在至少一个x，使得l1≤x≤r1和l2≤x≤r2，则认为两个线段…...

编程日记 2023/8/4 7:09:44

python与深度学习(十四):CNN和IKUN模型二

目录 1. 说明2. IKUN模型的CNN模型测试2.1 导入相关库2.2 加载模型2.3 设置保存图片的路径2.4 加载图片2.5 图片预处理2.6 对图片进行预测2.7 显示图片 3. 完整代码和显示结果4. 多张图片进行测试的完整代码以及结果 1. 说明 本篇文章是对上篇文章猫狗大战训练的模型进行测试。…...

编程日记 2023/8/4 7:08:40

chrome扩展在popup、background、content之间通信解决传输文件问题

文章目录 背景介绍案例介绍代码示例popup页面，上传文件页面popup页面，js上传代码，file文件转base64background监听消息，base64转file文件，axios上传 附-转base64后直接下载 背景介绍 示例扩展API版本MV2。 以弹…...

编程日记 2023/8/4 7:07:38

Oracle获取创建对象的DDL脚本

Oracle获取创建对象的DDL脚本 Oracle获取创建对象的DDL脚本查看 dbms_metadata.get_ddl()函数的定义 Oracle获取创建对象的DDL脚本 例如，对tzq schema下的表 test2，查看DDL脚本的SQL如下： SELECT SELECT dbms_metadata.get_ddl(upper(table…...

编程日记 2023/8/4 7:06:37

《算法竞赛·快冲300题》每日一题：“01树”

《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 0…...

编程日记 2023/8/4 7:05:35

Mac提示文件：已损坏，无法打开。你应该把它移到废纸篓

文章目录 一、电脑信息二、打开任何来源设置三、更改应用程序拓展属性 一、电脑信息 我的是新版的Venture 13的系统。UI改的比较多。与之前的配置还是有很大的区别的。 打开下载的软件，显示已经损坏，打不开。抛开软件本身的问题外，一般是Ma…...

编程日记 2023/8/4 7:04:34

探索嵌入式系统：从入门到实践

随着科技的飞速发展，嵌入式系统已经成为了我们生活中不可或缺的一部分。从智能手机、智能家居到工业自动化设备，嵌入式系统的应用已经渗透到了各个领域。那么，如何学习嵌入式系统呢？本文将从入门到实践，为你详细解答。…...

编程日记 2023/8/4 7:03:32

网络安全知识点整理（作业2）

目录 一、js函数声明->function 第一种 第二种 第三种 二、this关键字 this使用场合 1.全局环境 2.构造函数 3.对象的方法 避免多层this 三、js的同步与异步 定时器 setTimeout和setInterval 同步与异步的例子 四、宏任务与微任务 分辨宏任务与微任务 一、js…...

编程日记 2023/8/4 7:02:30

idea数据库快速上手-库操作与表结构和数据操作

引言 对数据库的操作无非就是执行SQL语句，要想熟练操作数据库，就要熟练运用SQL语句。 一，数据库操作 展示当前服务器内的数据库 -- 展示服务器内的数据库 show databases; show schemas; 执行结果： 创建数据库： --…...

编程日记 2023/8/4 7:01:29

当“国潮”遇见“双语” 以传承之心种下一颗文化的种子

看，活灵活现的纸片人在“跳舞”。光影的辉映下，两个形神兼备的“齐天大圣”究竟孰真孰假？舞台上，京西皮影非遗传承人王熙和5岁的Mona小朋友正在用双语为大家带来一段“真假美猴王”的好戏。生动的皮影造型和精彩的故事演绎看得台下…...

编程日记 2023/8/4 7:00:28

计划管理与项目管理：有何区别？

简而言之，是的。尽管它们经常互换使用并对全局产生影响，但它们是完全不同的。 在本文中，我们将了解计划和项目管理之间的差异，提供每个示例，并向您展示如何使计划和项目管理工作更有效地实现您的业务目标。 计划管理与…...

编程日记 2023/8/4 6:59:27

个人信息保护合规审计如何做？

8月3日，为指导、规范个人信息保护合规审计活动，根据《中华人民共和国个人信息保护法》等法律法规，国家互联网信息办公室就《个人信息保护合规审计管理办法（征求意见稿）》（简称《办法》）及配套的…...

编程日记 2023/8/4 6:58:26

HTTP杂谈之Referer和Origin请求头再探

一 关于Referer和Origin的汇总 1) 知识是凌乱的,各位看官看个热闹即可2) 内容不断更新1、理解有盲区,需要及时纠正2、内容交叉有重复,需要适当删减3、扩展视野3) 以下内容都与Referer和Origin请求头有关联 nginx防盗链 HTTP杂谈之Referrer-Policy响应头 iframe标签referre…...

编程日记 2023/8/4 6:57:24

数学建模-爬虫入门

Python快速入门 简单易懂Python入门 爬虫流程 获取网页内容：HTTP请求解析网页内容：Requst库、HTML结果、Beautiful Soup库储存和分析数据 什么是HTTP请求和响应 如何用Python Requests发送请求 下载pip macos系统下载：pip3 install req…...

编程日记 2023/8/4 6:56:22

网络编程（Modbus进阶）

思维导图 Modbus RTU（先学一点理论） 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议，由 Modicon 公司（现施耐德电气）于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…...

编程新知 2025/12/15 5:20:04

测试微信模版消息推送

进入“开发接口管理”--“公众平台测试账号”，无需申请公众账号、可在测试账号中体验并测试微信公众平台所有高级接口。 获取access_token: 自定义模版消息： 关注测试号：扫二维码关注测试号。 发送模版消息： import requests da…...

编程新知 2025/12/13 14:36:49

JavaSec-RCE

简介 RCE(Remote Code Execution)，可以分为:命令注入(Command Injection)、代码注入(Code Injection) 代码注入 1.漏洞场景：Groovy代码注入 Groovy是一种基于JVM的动态语言，语法简洁，支持闭包、动态类型和Java互操作性&#xff0c…...

编程新知 2025/12/15 19:27:54

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2025/11/25 5:13:22

《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）

CSI-2 协议详细解析 (一&#xff09; 1. CSI-2层定义&#xff08;CSI-2 Layer Definitions&#xff09; 分层结构 &#xff1a;CSI-2协议分为6层&#xff1a; 物理层&#xff08;PHY Layer&#xff09; &#xff1a; 定义电气特性、时钟机制和传输介质&#xff08;导线&#…...

编程新知 2025/12/7 20:38:59

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/12/4 11:14:19

高等数学（下）题型笔记（八）空间解析几何与向量代数

目录 0 前言 1 向量的点乘 1.1 基本公式 1.2 例题 2 向量的叉乘 2.1 基础知识 2.2 例题 3 空间平面方程 3.1 基础知识 3.2 例题 4 空间直线方程 4.1 基础知识 4.2 例题 5 旋转曲面及其方程 5.1 基础知识 5.2 例题 6 空间曲面的法线与切平面 6.1 基础知识 6.2…...

编程新知 2025/12/13 1:41:58

《基于Apache Flink的流处理》笔记

思维导图 1-3 章 4-7章 8-11 章 参考资料 源码&#xff1a; https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...

编程新知 2025/12/15 15:10:54

MySQL用户和授权

开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务&#xff1a; test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...

编程新知 2025/8/25 19:12:45

【开发技术】.Net使用FFmpeg视频特定帧上绘制内容

目录 一、目的 二、解决方案 2.1 什么是FFmpeg 2.2 FFmpeg主要功能 2.3 使用Xabe.FFmpeg调用FFmpeg功能 2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI 三、总结 一、目的 当前市场上有很多目标检测智能识别的相关算法&#xff0c;当前调用一个医疗行业的AI识别算法后返回…...

编程新知 2025/12/5 5:10:52