当前位置： 首页 > news >正文

【Java面试丨消息中间件】Kafka

news 2026/4/18 0:37:55

一、kafka是如何保证消息不丢失

1. 介绍

  • 使用kafka在消息的收发过程都有可能会出现消息丢失
    （1）生产者发送消息到broker丢失
    （2）消息在broker中存储丢失
    （3）消费者从broker接收消息丢失
    在这里插入图片描述

2. 生产者发送消息到broker丢失

  • 设置异步发送：同步发送会发生阻塞，一般使用异步发送方式发送消息
    在这里插入图片描述
  • 消息重试：由于网络抖动，造成消息发送失败，可以使用kafka提供的重试机制
    在这里插入图片描述

3. 消息在broker中存储丢失

  • broker存储大体流程
    （1）生产者发送消息到达broker中
    （2）消息存储在分区中，分区分为两个不同角色，leader只有一个，follower可能会有多个
    （3）先把消息保存到leader分区中，然后由leader将消息同步到follower中
    在这里插入图片描述
  • 发送确认机制acks
    （1）要想保证数据不丢失，可以设置acks=all，在所有分区副本保存完成后，才会发送确认给生产者，性能也是最低的
    （2）实际生产环境中，最低也要设置acks=1
    在这里插入图片描述

4. 消费者从broker接收消息丢失

  • 一个kafka集群是由多个broker（kafka实例）组成的
  • 每一个broker中都存在不同的topic，并且一个topic可能存在多个分区，这些分区可能存在不同的broker中
  • 一个消费者组可能存在多个消费者，它们都是消费同一个topic，负责消费topic不同分区
  • topic分区中消息只能由消费者组中唯一一个消费者处理，不同的分区分配给不同的消费者
    在这里插入图片描述
  • 丢失消息原因
    （1）消费者默认是自动按期提交已经消费的偏移量，默认是每隔5秒提交一次。如果消费者组出现重平衡的情况，可能会重复消费或者丢失消息
    （2）可以禁用自动提交偏移量，改为手动
    在这里插入图片描述
  • 解决方案
    （1）同步提交【会阻塞，不推荐】
    （2）异步提交【偏移量可能不准确，不推荐】
    （3）同步+异步组合提交【推荐】
    在这里插入图片描述

5. 总结

在这里插入图片描述

6. 参考答案

在这里插入图片描述

二、kafka是如何保证消息的顺序性

1. 介绍

  • 问题原因
    （1）一个topic中的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储偏移量，如果消费者关联了多个分区，则不能保证消费的顺序性
  • 解决方案
    （1）发送消息时，指定分区号，往同一个分区中存储消息
    （2）发送消息时，按照相同的业务设置相同的key
    在这里插入图片描述

2. 案例分析

  • springboot集成kafkatemplate
    在这里插入图片描述

3. 参考答案

在这里插入图片描述

三、kafka的高可用机制要了解过吗

1. 介绍

  • 集群模式
  • 分区备份机制

2. 集群模式

在这里插入图片描述

3. 分区备份机制

在这里插入图片描述
在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

四、kafka数据清理机制有了解过吗

1. 介绍

  • kafka文件存储机制
  • 数据清理机制

2. kafka文件存储机制

在这里插入图片描述

3. 数据清理机制

在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

五、kafka中实现高性能的设计有了解过吗

1. 介绍

在这里插入图片描述

2. 参考答案

在这里插入图片描述

相关文章：

【Java面试丨消息中间件】Kafka

一、kafka是如何保证消息不丢失 1. 介绍 使用kafka在消息的收发过程都有可能会出现消息丢失 （1）生产者发送消息到broker丢失 （2）消息在broker中存储丢失 （3）消费者从broker接收消息丢失 2. 生产者发送消…...

编程日记 2023/8/4 7:15:54

7.数组（一维数组、二维数组、C99中的变长数组、二分查找法）

数组 1.数组的概念2.一维数组2.1 一维数组的创建2.2 一维数组的类型2.3 一维数组的初始化2.4 一维数组的下标2.5 一维数组的输入与输出2.6 一维数组在内存中的存储2.7 利用sizeof()计算数组元素的个数 3.二维数组3.1 二维数组的概念3.2 二维数组的创建3.3 二维数组的初始化3.4 …...

编程日记 2023/8/4 7:14:52

ubuntu服务器配置ftp服务

需求：配置ftp服务用于在windows电脑上直接浏览、下载、上传ubuntu服务器上的文件，用于文件共享，方便实用 效果：用户打开windows资源管理器后输入ftp://xxx.xxx.xxx.xxx （公网IP地址）后，即可浏览…...

编程日记 2023/8/4 7:13:48

IDA+Frida分析CTF样本和Frid源码和objection模块

文章目录 一些资料IDA调试命令IDA调试安卓的10个技巧objection基本使用 Wallbreaker1frida源码阅读之frida-java 第一个实例EasyJNI第二个实例objection资料 art_trace2.pyart_trace2.js IDAFrida分析CTF样本和Frid源码和objection模块 一些资料 IDA调试命令 adb devices adb…...

编程日记 2023/8/4 7:12:47

ConCurrentHashMap常见面试题

1. JDK1.7和JDK1.8中ConCurrentHashMap的实现有什么不同？ JDK1.7中的实现可以认为是大数组套小数组，大数组是Segment数组，小数组是HashEntry数组，锁是锁在大数组的元素上（Segment），力度比较大&…...

编程日记 2023/8/4 7:11:46

mysql数据备份并重置

mysql数据备份并重置 1.备份mysql数据 mysqldump -uroot --single-transaction -R -E --databases lc2 cpm a10_goods self_warehouse > /mnt/vdc1/var/lib/mysql/datadir/lc2_cpm_a10_goods_self_warehouse.sql -p Y6B2wb 2.初始化mysql mysqld --initialize; 3.修改配…...

编程日记 2023/8/4 7:10:45

I- yh的线段(2023河南萌新联赛第（四）场：河南大学)

链接：登录—专业IT笔试面试备考平台_牛客网 来源：牛客网 yh喜欢好线段，好线段即两条线段相交且不与其他线段重合的线段。 两条线段[l1,r1]和[l2,r2]相交(如果存在至少一个x，使得l1≤x≤r1和l2≤x≤r2，则认为两个线段…...

编程日记 2023/8/4 7:09:44

python与深度学习(十四):CNN和IKUN模型二

目录 1. 说明2. IKUN模型的CNN模型测试2.1 导入相关库2.2 加载模型2.3 设置保存图片的路径2.4 加载图片2.5 图片预处理2.6 对图片进行预测2.7 显示图片 3. 完整代码和显示结果4. 多张图片进行测试的完整代码以及结果 1. 说明 本篇文章是对上篇文章猫狗大战训练的模型进行测试。…...

编程日记 2023/8/4 7:08:40

chrome扩展在popup、background、content之间通信解决传输文件问题

文章目录 背景介绍案例介绍代码示例popup页面，上传文件页面popup页面，js上传代码，file文件转base64background监听消息，base64转file文件，axios上传 附-转base64后直接下载 背景介绍 示例扩展API版本MV2。 以弹…...

编程日记 2023/8/4 7:07:38

Oracle获取创建对象的DDL脚本

Oracle获取创建对象的DDL脚本 Oracle获取创建对象的DDL脚本查看 dbms_metadata.get_ddl()函数的定义 Oracle获取创建对象的DDL脚本 例如，对tzq schema下的表 test2，查看DDL脚本的SQL如下： SELECT SELECT dbms_metadata.get_ddl(upper(table…...

编程日记 2023/8/4 7:06:37

《算法竞赛·快冲300题》每日一题：“01树”

《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 0…...

编程日记 2023/8/4 7:05:35

Mac提示文件：已损坏，无法打开。你应该把它移到废纸篓

文章目录 一、电脑信息二、打开任何来源设置三、更改应用程序拓展属性 一、电脑信息 我的是新版的Venture 13的系统。UI改的比较多。与之前的配置还是有很大的区别的。 打开下载的软件，显示已经损坏，打不开。抛开软件本身的问题外，一般是Ma…...

编程日记 2023/8/4 7:04:34

探索嵌入式系统：从入门到实践

随着科技的飞速发展，嵌入式系统已经成为了我们生活中不可或缺的一部分。从智能手机、智能家居到工业自动化设备，嵌入式系统的应用已经渗透到了各个领域。那么，如何学习嵌入式系统呢？本文将从入门到实践，为你详细解答。…...

编程日记 2023/8/4 7:03:32

网络安全知识点整理（作业2）

目录 一、js函数声明->function 第一种 第二种 第三种 二、this关键字 this使用场合 1.全局环境 2.构造函数 3.对象的方法 避免多层this 三、js的同步与异步 定时器 setTimeout和setInterval 同步与异步的例子 四、宏任务与微任务 分辨宏任务与微任务 一、js…...

编程日记 2023/8/4 7:02:30

idea数据库快速上手-库操作与表结构和数据操作

引言 对数据库的操作无非就是执行SQL语句，要想熟练操作数据库，就要熟练运用SQL语句。 一，数据库操作 展示当前服务器内的数据库 -- 展示服务器内的数据库 show databases; show schemas; 执行结果： 创建数据库： --…...

编程日记 2023/8/4 7:01:29

当“国潮”遇见“双语” 以传承之心种下一颗文化的种子

看，活灵活现的纸片人在“跳舞”。光影的辉映下，两个形神兼备的“齐天大圣”究竟孰真孰假？舞台上，京西皮影非遗传承人王熙和5岁的Mona小朋友正在用双语为大家带来一段“真假美猴王”的好戏。生动的皮影造型和精彩的故事演绎看得台下…...

编程日记 2023/8/4 7:00:28

计划管理与项目管理：有何区别？

简而言之，是的。尽管它们经常互换使用并对全局产生影响，但它们是完全不同的。 在本文中，我们将了解计划和项目管理之间的差异，提供每个示例，并向您展示如何使计划和项目管理工作更有效地实现您的业务目标。 计划管理与…...

编程日记 2023/8/4 6:59:27

个人信息保护合规审计如何做？

8月3日，为指导、规范个人信息保护合规审计活动，根据《中华人民共和国个人信息保护法》等法律法规，国家互联网信息办公室就《个人信息保护合规审计管理办法（征求意见稿）》（简称《办法》）及配套的…...

编程日记 2023/8/4 6:58:26

HTTP杂谈之Referer和Origin请求头再探

一 关于Referer和Origin的汇总 1) 知识是凌乱的,各位看官看个热闹即可2) 内容不断更新1、理解有盲区,需要及时纠正2、内容交叉有重复,需要适当删减3、扩展视野3) 以下内容都与Referer和Origin请求头有关联 nginx防盗链 HTTP杂谈之Referrer-Policy响应头 iframe标签referre…...

编程日记 2023/8/4 6:57:24

数学建模-爬虫入门

Python快速入门 简单易懂Python入门 爬虫流程 获取网页内容：HTTP请求解析网页内容：Requst库、HTML结果、Beautiful Soup库储存和分析数据 什么是HTTP请求和响应 如何用Python Requests发送请求 下载pip macos系统下载：pip3 install req…...

编程日记 2023/8/4 6:56:22

用LabView和STC89C52打造智能温湿度报警系统（含上位机控制）

用LabView和STC89C52打造智能温湿度报警系统（含上位机控制） 在智能家居和工业监控领域，温湿度监测一直是核心需求之一。传统的手动记录方式早已无法满足现代场景对实时性和智能化的要求。本文将带你从零构建一套完整的智能温湿度报警系统&…...

编程新知 2026/4/18 0:19:38

XINGLIGHT成兴光 0603 球头正贴 LED 聚光透镜凸头球灯珠 高亮定向指示贴片 LED

XINGLIGHT 0603 球头正贴 LED 产品图 发光颜色 型号 红色 XL-TD1608SURC 黄色 XL-TD1608UYC 普绿 XL-TD1608SYGC 翠绿 XL-TD1608UGC 蓝色 XL-TD1608UBC XINGLIGHT 0603 球头正贴 LED，标准 0603 正装基底 顶部球面透镜一体封装，光线聚焦定向射出、视角集…...

编程新知 2026/4/17 21:27:56

**梯度压缩实战：用PyTorch实现高效分布式训练中的通信优化**在大规模深度学习模型训练中，**梯度同步**

梯度压缩实战：用PyTorch实现高效分布式训练中的通信优化 在大规模深度学习模型训练中，梯度同步是分布式训练的核心瓶颈之一。尤其是在多节点环境下，梯度数据传输消耗大量带宽和时间，严重影响训练效率。梯度压缩技术应运而生——它…...

编程新知 2026/4/17 21:23:41

【限时解密】头部AI编码平台未公开的长代码分治协议：动态切片+跨段约束注入+状态感知回溯（附可运行PoC）

第一章：智能代码生成在长代码中的挑战 2026奇点智能技术大会(https://ml-summit.org) 当智能代码生成模型面对超过千行的模块化系统（如微服务入口层、编译器前端或分布式事务协调器）时，其输出质量常出现显著衰减。这种衰减并非源…...

编程新知 2026/4/17 20:55:10

开源中国完成 C+ 轮融资，冲刺「开源AI第一股」

4 月 10 日，开源中国宣布完成数亿元 C 轮融资，由上海国投先导基金领投，中国互联网投资基金、君联资本、联想创投、苏创投及贝克资本联合跟投。截至目前，开源中国累计融资规模已接近 20 亿元。 开源中国创立于 2008 年 8 月&#x…...

编程新知 2026/4/17 20:24:26

Python实战：不用NumPy也能搞定高斯拟合？手写算法全解析

Python实战：不用NumPy也能搞定高斯拟合？手写算法全解析 高斯分布（正态分布）在数据分析和信号处理中无处不在，但大多数教程都直接调用NumPy或SciPy的现成函数。今天我们要做点不一样的——仅用Python标准库和基础数学知…...

编程新知 2026/4/17 19:45:35

Eigen 3.4.90 矩阵操作实战 | C++高效线性代数指南（一）

1. Eigen库基础入门：从安装到第一个矩阵 第一次接触Eigen时，我完全被它的简洁性震惊了——不需要链接任何库文件，只需要包含头文件就能开始高性能的线性代数计算。作为C中最受欢迎的矩阵运算库之一，Eigen 3.4.90版本在保持轻量级的…...

编程新知 2026/4/17 19:28:50

基于TDC-GPX的多通道高精度时间测量系统设计与激光雷达应用

1. TDC-GPX芯片深度解析 第一次接触TDC-GPX芯片时，我被它81皮秒的时间分辨率震惊到了——这相当于光在真空中只传播了2.4厘米所需的时间。这款德国ACAM公司的旗舰产品确实配得上"时间数字转换器中的瑞士军刀"这个称号。让我带你从工程师视角拆解这颗神奇的…...

编程新知 2026/4/17 19:18:18

为什么92%的DevOps团队尚未启用生成代码安全门禁？——一份被头部金融客户验证的SAST+IAST融合检查清单

第一章：智能代码生成代码安全性检查 2026奇点智能技术大会(https://ml-summit.org) 随着大语言模型在开发流程中深度集成，智能代码生成工具（如Copilot、CodeWhisperer、Tabnine）已广泛用于函数补全、单元测试编写与API集成。但自…...

编程新知 2026/4/17 18:28:33

如何在Windows和Linux上快速解锁VMware的macOS虚拟机支持：终极完整指南

如何在Windows和Linux上快速解锁VMware的macOS虚拟机支持：终极完整指南 【免费下载链接】unlocker VMware Workstation macOS 项目地址: https://gitcode.com/gh_mirrors/unloc/unlocker 你是否在VMware中找不到macOS选项？想在普通PC上运行苹果系…...

编程新知 2026/4/17 16:52:43