当前位置： 首页 > news >正文

【Java面试丨消息中间件】Kafka

news 2026/2/9 20:13:20

一、kafka是如何保证消息不丢失

1. 介绍

  • 使用kafka在消息的收发过程都有可能会出现消息丢失
    （1）生产者发送消息到broker丢失
    （2）消息在broker中存储丢失
    （3）消费者从broker接收消息丢失
    在这里插入图片描述

2. 生产者发送消息到broker丢失

  • 设置异步发送：同步发送会发生阻塞，一般使用异步发送方式发送消息
    在这里插入图片描述
  • 消息重试：由于网络抖动，造成消息发送失败，可以使用kafka提供的重试机制
    在这里插入图片描述

3. 消息在broker中存储丢失

  • broker存储大体流程
    （1）生产者发送消息到达broker中
    （2）消息存储在分区中，分区分为两个不同角色，leader只有一个，follower可能会有多个
    （3）先把消息保存到leader分区中，然后由leader将消息同步到follower中
    在这里插入图片描述
  • 发送确认机制acks
    （1）要想保证数据不丢失，可以设置acks=all，在所有分区副本保存完成后，才会发送确认给生产者，性能也是最低的
    （2）实际生产环境中，最低也要设置acks=1
    在这里插入图片描述

4. 消费者从broker接收消息丢失

  • 一个kafka集群是由多个broker（kafka实例）组成的
  • 每一个broker中都存在不同的topic，并且一个topic可能存在多个分区，这些分区可能存在不同的broker中
  • 一个消费者组可能存在多个消费者，它们都是消费同一个topic，负责消费topic不同分区
  • topic分区中消息只能由消费者组中唯一一个消费者处理，不同的分区分配给不同的消费者
    在这里插入图片描述
  • 丢失消息原因
    （1）消费者默认是自动按期提交已经消费的偏移量，默认是每隔5秒提交一次。如果消费者组出现重平衡的情况，可能会重复消费或者丢失消息
    （2）可以禁用自动提交偏移量，改为手动
    在这里插入图片描述
  • 解决方案
    （1）同步提交【会阻塞，不推荐】
    （2）异步提交【偏移量可能不准确，不推荐】
    （3）同步+异步组合提交【推荐】
    在这里插入图片描述

5. 总结

在这里插入图片描述

6. 参考答案

在这里插入图片描述

二、kafka是如何保证消息的顺序性

1. 介绍

  • 问题原因
    （1）一个topic中的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储偏移量，如果消费者关联了多个分区，则不能保证消费的顺序性
  • 解决方案
    （1）发送消息时，指定分区号，往同一个分区中存储消息
    （2）发送消息时，按照相同的业务设置相同的key
    在这里插入图片描述

2. 案例分析

  • springboot集成kafkatemplate
    在这里插入图片描述

3. 参考答案

在这里插入图片描述

三、kafka的高可用机制要了解过吗

1. 介绍

  • 集群模式
  • 分区备份机制

2. 集群模式

在这里插入图片描述

3. 分区备份机制

在这里插入图片描述
在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

四、kafka数据清理机制有了解过吗

1. 介绍

  • kafka文件存储机制
  • 数据清理机制

2. kafka文件存储机制

在这里插入图片描述

3. 数据清理机制

在这里插入图片描述

4. 总结

在这里插入图片描述

5. 参考答案

在这里插入图片描述

五、kafka中实现高性能的设计有了解过吗

1. 介绍

在这里插入图片描述

2. 参考答案

在这里插入图片描述

相关文章：

【Java面试丨消息中间件】Kafka

一、kafka是如何保证消息不丢失 1. 介绍 使用kafka在消息的收发过程都有可能会出现消息丢失 （1）生产者发送消息到broker丢失 （2）消息在broker中存储丢失 （3）消费者从broker接收消息丢失 2. 生产者发送消…...

编程日记 2023/8/4 7:15:54

7.数组（一维数组、二维数组、C99中的变长数组、二分查找法）

数组 1.数组的概念2.一维数组2.1 一维数组的创建2.2 一维数组的类型2.3 一维数组的初始化2.4 一维数组的下标2.5 一维数组的输入与输出2.6 一维数组在内存中的存储2.7 利用sizeof()计算数组元素的个数 3.二维数组3.1 二维数组的概念3.2 二维数组的创建3.3 二维数组的初始化3.4 …...

编程日记 2023/8/4 7:14:52

ubuntu服务器配置ftp服务

需求：配置ftp服务用于在windows电脑上直接浏览、下载、上传ubuntu服务器上的文件，用于文件共享，方便实用 效果：用户打开windows资源管理器后输入ftp://xxx.xxx.xxx.xxx （公网IP地址）后，即可浏览…...

编程日记 2023/8/4 7:13:48

IDA+Frida分析CTF样本和Frid源码和objection模块

文章目录 一些资料IDA调试命令IDA调试安卓的10个技巧objection基本使用 Wallbreaker1frida源码阅读之frida-java 第一个实例EasyJNI第二个实例objection资料 art_trace2.pyart_trace2.js IDAFrida分析CTF样本和Frid源码和objection模块 一些资料 IDA调试命令 adb devices adb…...

编程日记 2023/8/4 7:12:47

ConCurrentHashMap常见面试题

1. JDK1.7和JDK1.8中ConCurrentHashMap的实现有什么不同？ JDK1.7中的实现可以认为是大数组套小数组，大数组是Segment数组，小数组是HashEntry数组，锁是锁在大数组的元素上（Segment），力度比较大&…...

编程日记 2023/8/4 7:11:46

mysql数据备份并重置

mysql数据备份并重置 1.备份mysql数据 mysqldump -uroot --single-transaction -R -E --databases lc2 cpm a10_goods self_warehouse > /mnt/vdc1/var/lib/mysql/datadir/lc2_cpm_a10_goods_self_warehouse.sql -p Y6B2wb 2.初始化mysql mysqld --initialize; 3.修改配…...

编程日记 2023/8/4 7:10:45

I- yh的线段(2023河南萌新联赛第（四）场：河南大学)

链接：登录—专业IT笔试面试备考平台_牛客网 来源：牛客网 yh喜欢好线段，好线段即两条线段相交且不与其他线段重合的线段。 两条线段[l1,r1]和[l2,r2]相交(如果存在至少一个x，使得l1≤x≤r1和l2≤x≤r2，则认为两个线段…...

编程日记 2023/8/4 7:09:44

python与深度学习(十四):CNN和IKUN模型二

目录 1. 说明2. IKUN模型的CNN模型测试2.1 导入相关库2.2 加载模型2.3 设置保存图片的路径2.4 加载图片2.5 图片预处理2.6 对图片进行预测2.7 显示图片 3. 完整代码和显示结果4. 多张图片进行测试的完整代码以及结果 1. 说明 本篇文章是对上篇文章猫狗大战训练的模型进行测试。…...

编程日记 2023/8/4 7:08:40

chrome扩展在popup、background、content之间通信解决传输文件问题

文章目录 背景介绍案例介绍代码示例popup页面，上传文件页面popup页面，js上传代码，file文件转base64background监听消息，base64转file文件，axios上传 附-转base64后直接下载 背景介绍 示例扩展API版本MV2。 以弹…...

编程日记 2023/8/4 7:07:38

Oracle获取创建对象的DDL脚本

Oracle获取创建对象的DDL脚本 Oracle获取创建对象的DDL脚本查看 dbms_metadata.get_ddl()函数的定义 Oracle获取创建对象的DDL脚本 例如，对tzq schema下的表 test2，查看DDL脚本的SQL如下： SELECT SELECT dbms_metadata.get_ddl(upper(table…...

编程日记 2023/8/4 7:06:37

《算法竞赛·快冲300题》每日一题：“01树”

《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 0…...

编程日记 2023/8/4 7:05:35

Mac提示文件：已损坏，无法打开。你应该把它移到废纸篓

文章目录 一、电脑信息二、打开任何来源设置三、更改应用程序拓展属性 一、电脑信息 我的是新版的Venture 13的系统。UI改的比较多。与之前的配置还是有很大的区别的。 打开下载的软件，显示已经损坏，打不开。抛开软件本身的问题外，一般是Ma…...

编程日记 2023/8/4 7:04:34

探索嵌入式系统：从入门到实践

随着科技的飞速发展，嵌入式系统已经成为了我们生活中不可或缺的一部分。从智能手机、智能家居到工业自动化设备，嵌入式系统的应用已经渗透到了各个领域。那么，如何学习嵌入式系统呢？本文将从入门到实践，为你详细解答。…...

编程日记 2023/8/4 7:03:32

网络安全知识点整理（作业2）

目录 一、js函数声明->function 第一种 第二种 第三种 二、this关键字 this使用场合 1.全局环境 2.构造函数 3.对象的方法 避免多层this 三、js的同步与异步 定时器 setTimeout和setInterval 同步与异步的例子 四、宏任务与微任务 分辨宏任务与微任务 一、js…...

编程日记 2023/8/4 7:02:30

idea数据库快速上手-库操作与表结构和数据操作

引言 对数据库的操作无非就是执行SQL语句，要想熟练操作数据库，就要熟练运用SQL语句。 一，数据库操作 展示当前服务器内的数据库 -- 展示服务器内的数据库 show databases; show schemas; 执行结果： 创建数据库： --…...

编程日记 2023/8/4 7:01:29

当“国潮”遇见“双语” 以传承之心种下一颗文化的种子

看，活灵活现的纸片人在“跳舞”。光影的辉映下，两个形神兼备的“齐天大圣”究竟孰真孰假？舞台上，京西皮影非遗传承人王熙和5岁的Mona小朋友正在用双语为大家带来一段“真假美猴王”的好戏。生动的皮影造型和精彩的故事演绎看得台下…...

编程日记 2023/8/4 7:00:28

计划管理与项目管理：有何区别？

简而言之，是的。尽管它们经常互换使用并对全局产生影响，但它们是完全不同的。 在本文中，我们将了解计划和项目管理之间的差异，提供每个示例，并向您展示如何使计划和项目管理工作更有效地实现您的业务目标。 计划管理与…...

编程日记 2023/8/4 6:59:27

个人信息保护合规审计如何做？

8月3日，为指导、规范个人信息保护合规审计活动，根据《中华人民共和国个人信息保护法》等法律法规，国家互联网信息办公室就《个人信息保护合规审计管理办法（征求意见稿）》（简称《办法》）及配套的…...

编程日记 2023/8/4 6:58:26

HTTP杂谈之Referer和Origin请求头再探

一 关于Referer和Origin的汇总 1) 知识是凌乱的,各位看官看个热闹即可2) 内容不断更新1、理解有盲区,需要及时纠正2、内容交叉有重复,需要适当删减3、扩展视野3) 以下内容都与Referer和Origin请求头有关联 nginx防盗链 HTTP杂谈之Referrer-Policy响应头 iframe标签referre…...

编程日记 2023/8/4 6:57:24

数学建模-爬虫入门

Python快速入门 简单易懂Python入门 爬虫流程 获取网页内容：HTTP请求解析网页内容：Requst库、HTML结果、Beautiful Soup库储存和分析数据 什么是HTTP请求和响应 如何用Python Requests发送请求 下载pip macos系统下载：pip3 install req…...

编程日记 2023/8/4 6:56:22

uniapp 对接腾讯云IM群组成员管理（增删改查）

UniApp 实战：腾讯云IM群组成员管理（增删改查） 一、前言 在社交类App开发中，群组成员管理是核心功能之一。本文将基于UniApp框架，结合腾讯云IM SDK，详细讲解如何实现群组成员的增删改查全流程。 权限校验…...

编程新知 2026/1/13 9:59:27

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 ​ 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...

编程新知 2026/2/5 4:33:58

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2026/2/5 4:28:28

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 笔者写过很多次这道题了&#xff0c;不想写题解了&#xff0c;大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

编程新知 2026/1/23 12:37:51

系统设计 --- MongoDB亿级数据查询优化策略

系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log&#xff0c;共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题&#xff0c;不能使用ELK只能使用…...

编程新知 2026/1/4 3:47:09

【决胜公务员考试】求职OMG——见面课测验1

2025最新版&#xff01;&#xff01;&#xff01;6.8截至答题&#xff0c;大家注意呀&#xff01; 博主码字不易点个关注吧,祝期末顺利~~ 1.单选题(2分) 下列说法错误的是:&#xff08; B &#xff09; A.选调生属于公务员系统 B.公务员属于事业编 C.选调生有基层锻炼的要求 D…...

编程新知 2025/11/8 16:25:01

CRMEB 框架中 PHP 上传扩展开发：涵盖本地上传及阿里云 OSS、腾讯云 COS、七牛云

目前已有本地上传、阿里云OSS上传、腾讯云COS上传、七牛云上传扩展 扩展入口文件 文件目录 crmeb\services\upload\Upload.php namespace crmeb\services\upload;use crmeb\basic\BaseManager; use think\facade\Config;/*** Class Upload* package crmeb\services\upload* …...

编程新知 2025/12/30 22:56:56

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

编程新知 2025/10/6 18:46:56

根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：

根据万维钢精英日课6的内容&#xff0c;使用AI&#xff08;2025&#xff09;可以参考以下方法&#xff1a; 四个洞见 模型已经比人聪明&#xff1a;以ChatGPT o3为代表的AI非常强大&#xff0c;能运用高级理论解释道理、引用最新学术论文&#xff0c;生成对顶尖科学家都有用的…...

编程新知 2026/1/10 1:08:51

Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）

参考官方文档&#xff1a;https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java&#xff08;供 Kotlin 使用&#xff09; 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...

编程新知 2026/2/8 0:33:04