当前位置： 首页 > news >正文

【Java面试丨消息中间件】Kafka

news 2025/6/23 15:04:48

一、kafka是如何保证消息不丢失

1. 介绍

  • 使用kafka在消息的收发过程都有可能会出现消息丢失
    （1）生产者发送消息到broker丢失
    （2）消息在broker中存储丢失
    （3）消费者从broker接收消息丢失
    在这里插入图片描述

2. 生产者发送消息到broker丢失

  • 设置异步发送：同步发送会发生阻塞，一般使用异步发送方式发送消息
    在这里插入图片描述
  • 消息重试：由于网络抖动，造成消息发送失败，可以使用kafka提供的重试机制
    在这里插入图片描述

3. 消息在broker中存储丢失

  • broker存储大体流程
    （1）生产者发送消息到达broker中
    （2）消息存储在分区中，分区分为两个不同角色，leader只有一个，follower可能会有多个
    （3）先把消息保存到leader分区中，然后由leader将消息同步到follower中
    在这里插入图片描述
  • 发送确认机制acks
    （1）要想保证数据不丢失，可以设置acks=all，在所有分区副本保存完成后，才会发送确认给生产者，性能也是最低的
    （2）实际生产环境中，最低也要设置acks=1
    在这里插入图片描述

4. 消费者从broker接收消息丢失

  • 一个kafka集群是由多个broker（kafka实例）组成的
  • 每一个broker中都存在不同的topic，并且一个topic可能存在多个分区，这些分区可能存在不同的broker中
  • 一个消费者组可能存在多个消费者，它们都是消费同一个topic，负责消费topic不同分区
  • topic分区中消息只能由消费者组中唯一一个消费者处理，不同的分区分配给不同的消费者
    在这里插入图片描述
  • 丢失消息原因
    （1）消费者默认是自动按期提交已经消费的偏移量，默认是每隔5秒提交一次。如果消费者组出现重平衡的情况，可能会重复消费或者丢失消息
    （2）可以禁用自动提交偏移量，改为手动
    在这里插入图片描述
  • 解决方案
    （1）同步提交【会阻塞，不推荐】
    （2）异步提交【偏移量可能不准确，不推荐】
    （3）同步+异步组合提交【推荐】
    在这里插入图片描述

5. 总结

在这里插入图片描述

6. 参考答案

在这里插入图片描述

二、kafka是如何保证消息的顺序性

1. 介绍

  • 问题原因
    （1）一个topic中的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储偏移量，如果消费者关联了多个分区，则不能保证消费的顺序性
  • 解决方案
    （1）发送消息时，指定分区号，往同一个分区中存储消息
    （2）发送消息时，按照相同的业务设置相同的key
    在这里插入图片描述

2. 案例分析

  • springboot集成kafkatemplate
    在这里插入图片描述

3. 参考答案

在这里插入图片描述

三、kafka的高可用机制要了解过吗

1. 介绍

  • 集群模式
  • 分区备份机制

2. 集群模式

在这里插入图片描述

3. 分区备份机制

在这里插入图片描述
在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

四、kafka数据清理机制有了解过吗

1. 介绍

  • kafka文件存储机制
  • 数据清理机制

2. kafka文件存储机制

在这里插入图片描述

3. 数据清理机制

在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

五、kafka中实现高性能的设计有了解过吗

1. 介绍

在这里插入图片描述

2. 参考答案

在这里插入图片描述

相关文章：

【Java面试丨消息中间件】Kafka

一、kafka是如何保证消息不丢失 1. 介绍 使用kafka在消息的收发过程都有可能会出现消息丢失 （1）生产者发送消息到broker丢失 （2）消息在broker中存储丢失 （3）消费者从broker接收消息丢失 2. 生产者发送消…...

编程日记 2023/8/4 7:15:54

7.数组（一维数组、二维数组、C99中的变长数组、二分查找法）

数组 1.数组的概念2.一维数组2.1 一维数组的创建2.2 一维数组的类型2.3 一维数组的初始化2.4 一维数组的下标2.5 一维数组的输入与输出2.6 一维数组在内存中的存储2.7 利用sizeof()计算数组元素的个数 3.二维数组3.1 二维数组的概念3.2 二维数组的创建3.3 二维数组的初始化3.4 …...

编程日记 2023/8/4 7:14:52

ubuntu服务器配置ftp服务

需求：配置ftp服务用于在windows电脑上直接浏览、下载、上传ubuntu服务器上的文件，用于文件共享，方便实用 效果：用户打开windows资源管理器后输入ftp://xxx.xxx.xxx.xxx （公网IP地址）后，即可浏览…...

编程日记 2023/8/4 7:13:48

IDA+Frida分析CTF样本和Frid源码和objection模块

文章目录 一些资料IDA调试命令IDA调试安卓的10个技巧objection基本使用 Wallbreaker1frida源码阅读之frida-java 第一个实例EasyJNI第二个实例objection资料 art_trace2.pyart_trace2.js IDAFrida分析CTF样本和Frid源码和objection模块 一些资料 IDA调试命令 adb devices adb…...

编程日记 2023/8/4 7:12:47

ConCurrentHashMap常见面试题

1. JDK1.7和JDK1.8中ConCurrentHashMap的实现有什么不同？ JDK1.7中的实现可以认为是大数组套小数组，大数组是Segment数组，小数组是HashEntry数组，锁是锁在大数组的元素上（Segment），力度比较大&…...

编程日记 2023/8/4 7:11:46

mysql数据备份并重置

mysql数据备份并重置 1.备份mysql数据 mysqldump -uroot --single-transaction -R -E --databases lc2 cpm a10_goods self_warehouse > /mnt/vdc1/var/lib/mysql/datadir/lc2_cpm_a10_goods_self_warehouse.sql -p Y6B2wb 2.初始化mysql mysqld --initialize; 3.修改配…...

编程日记 2023/8/4 7:10:45

I- yh的线段(2023河南萌新联赛第（四）场：河南大学)

链接：登录—专业IT笔试面试备考平台_牛客网 来源：牛客网 yh喜欢好线段，好线段即两条线段相交且不与其他线段重合的线段。 两条线段[l1,r1]和[l2,r2]相交(如果存在至少一个x，使得l1≤x≤r1和l2≤x≤r2，则认为两个线段…...

编程日记 2023/8/4 7:09:44

python与深度学习(十四):CNN和IKUN模型二

目录 1. 说明2. IKUN模型的CNN模型测试2.1 导入相关库2.2 加载模型2.3 设置保存图片的路径2.4 加载图片2.5 图片预处理2.6 对图片进行预测2.7 显示图片 3. 完整代码和显示结果4. 多张图片进行测试的完整代码以及结果 1. 说明 本篇文章是对上篇文章猫狗大战训练的模型进行测试。…...

编程日记 2023/8/4 7:08:40

chrome扩展在popup、background、content之间通信解决传输文件问题

文章目录 背景介绍案例介绍代码示例popup页面，上传文件页面popup页面，js上传代码，file文件转base64background监听消息，base64转file文件，axios上传 附-转base64后直接下载 背景介绍 示例扩展API版本MV2。 以弹…...

编程日记 2023/8/4 7:07:38

Oracle获取创建对象的DDL脚本

Oracle获取创建对象的DDL脚本 Oracle获取创建对象的DDL脚本查看 dbms_metadata.get_ddl()函数的定义 Oracle获取创建对象的DDL脚本 例如，对tzq schema下的表 test2，查看DDL脚本的SQL如下： SELECT SELECT dbms_metadata.get_ddl(upper(table…...

编程日记 2023/8/4 7:06:37

《算法竞赛·快冲300题》每日一题：“01树”

《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 0…...

编程日记 2023/8/4 7:05:35

Mac提示文件：已损坏，无法打开。你应该把它移到废纸篓

文章目录 一、电脑信息二、打开任何来源设置三、更改应用程序拓展属性 一、电脑信息 我的是新版的Venture 13的系统。UI改的比较多。与之前的配置还是有很大的区别的。 打开下载的软件，显示已经损坏，打不开。抛开软件本身的问题外，一般是Ma…...

编程日记 2023/8/4 7:04:34

探索嵌入式系统：从入门到实践

随着科技的飞速发展，嵌入式系统已经成为了我们生活中不可或缺的一部分。从智能手机、智能家居到工业自动化设备，嵌入式系统的应用已经渗透到了各个领域。那么，如何学习嵌入式系统呢？本文将从入门到实践，为你详细解答。…...

编程日记 2023/8/4 7:03:32

网络安全知识点整理（作业2）

目录 一、js函数声明->function 第一种 第二种 第三种 二、this关键字 this使用场合 1.全局环境 2.构造函数 3.对象的方法 避免多层this 三、js的同步与异步 定时器 setTimeout和setInterval 同步与异步的例子 四、宏任务与微任务 分辨宏任务与微任务 一、js…...

编程日记 2023/8/4 7:02:30

idea数据库快速上手-库操作与表结构和数据操作

引言 对数据库的操作无非就是执行SQL语句，要想熟练操作数据库，就要熟练运用SQL语句。 一，数据库操作 展示当前服务器内的数据库 -- 展示服务器内的数据库 show databases; show schemas; 执行结果： 创建数据库： --…...

编程日记 2023/8/4 7:01:29

当“国潮”遇见“双语” 以传承之心种下一颗文化的种子

看，活灵活现的纸片人在“跳舞”。光影的辉映下，两个形神兼备的“齐天大圣”究竟孰真孰假？舞台上，京西皮影非遗传承人王熙和5岁的Mona小朋友正在用双语为大家带来一段“真假美猴王”的好戏。生动的皮影造型和精彩的故事演绎看得台下…...

编程日记 2023/8/4 7:00:28

计划管理与项目管理：有何区别？

简而言之，是的。尽管它们经常互换使用并对全局产生影响，但它们是完全不同的。 在本文中，我们将了解计划和项目管理之间的差异，提供每个示例，并向您展示如何使计划和项目管理工作更有效地实现您的业务目标。 计划管理与…...

编程日记 2023/8/4 6:59:27

个人信息保护合规审计如何做？

8月3日，为指导、规范个人信息保护合规审计活动，根据《中华人民共和国个人信息保护法》等法律法规，国家互联网信息办公室就《个人信息保护合规审计管理办法（征求意见稿）》（简称《办法》）及配套的…...

编程日记 2023/8/4 6:58:26

HTTP杂谈之Referer和Origin请求头再探

一 关于Referer和Origin的汇总 1) 知识是凌乱的,各位看官看个热闹即可2) 内容不断更新1、理解有盲区,需要及时纠正2、内容交叉有重复,需要适当删减3、扩展视野3) 以下内容都与Referer和Origin请求头有关联 nginx防盗链 HTTP杂谈之Referrer-Policy响应头 iframe标签referre…...

编程日记 2023/8/4 6:57:24

数学建模-爬虫入门

Python快速入门 简单易懂Python入门 爬虫流程 获取网页内容：HTTP请求解析网页内容：Requst库、HTML结果、Beautiful Soup库储存和分析数据 什么是HTTP请求和响应 如何用Python Requests发送请求 下载pip macos系统下载：pip3 install req…...

编程日记 2023/8/4 6:56:22

超短脉冲激光自聚焦效应

前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应，这是一种非线性光学现象，主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场，对材料产生非线性响应，可能…...

编程新知 2025/6/20 15:34:38

PHP和Node.js哪个更爽?

先说结论，rust完胜。 php：laravel，swoole，webman，最开始在苏宁的时候写了几年php，当时觉得php真的是世界上最好的语言，因为当初活在舒适圈里，不愿意跳出来，就好比当初活在…...

编程新知 2025/6/21 17:45:06

Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）

目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...

编程新知 2025/6/22 6:45:56

Robots.txt 文件

什么是robots.txt？ robots.txt 是一个位于网站根目录下的文本文件（如：https://example.com/robots.txt），它用于指导网络爬虫（如搜索引擎的蜘蛛程序）如何抓取该网站的内容。这个文件遵循 Robots…...

编程新知 2025/6/21 7:18:42

Python+ZeroMQ实战：智能车辆状态监控与模拟模式自动切换

目录 关键点 技术实现1 技术实现2 摘要： 本文将介绍如何利用Python和ZeroMQ消息队列构建一个智能车辆状态监控系统。系统能够根据时间策略自动切换驾驶模式（自动驾驶、人工驾驶、远程驾驶、主动安全），并通过实时消息推送更新车…...

编程新知 2025/6/21 10:34:52

iview框架主题色的应用

1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题，无需引入，直接可…...

编程新知 2025/6/20 15:33:20

AD学习（3）

1 PCB封装元素组成及简单的PCB封装创建 封装的组成部分： （1）PCB焊盘：表层的铜 ，top层的铜 （2）管脚序号：用来关联原理图中的管脚的序号，原理图的序号需要和PCB封装一一…...

编程新知 2025/6/19 16:02:32

C#中用于控制自定义特性（Attribute）

我们来详细解释一下 [AttributeUsage(AttributeTargets.Class, AllowMultiple false, Inherited false)] 这个 C# 属性。 在 C# 中，Attribute（特性）是一种用于向程序元素（如类、方法、属性等）添加元数据的机制。Attr…...

编程新知 2025/6/21 19:14:45

智能体革命：企业如何构建自主决策的AI代理？

OpenAI智能代理构建实用指南详解 随着大型语言模型（LLM）在推理、多模态理解和工具调用能力上的进步，智能代理（Agents）成为自动化领域的新突破。与传统软件仅帮助用户自动化流程不同，智能代理能够自主执行工…...

编程新知 2025/6/16 19:35:30

开源项目实战学习之YOLO11：12.6 ultralytics-models-tiny_encoder.py

👉 欢迎关注，了解更多精彩内容 👉 欢迎关注，了解更多精彩内容 👉 欢迎关注，了解更多精彩内容 ultralytics-models-sam 1.sam-modules-tiny_encoder.py2.数据处理流程3.代码架构图（类层次与依赖）blocks.py： 定义模型中的各种模块结构 ，如卷积块、残差块等基础构建…...

编程新知 2025/6/23 2:45:09