当前位置： 首页 > article >正文

Kafka面试题及原理

article 2026/3/27 5:48:09

1. 消息可靠性（不丢失）

使用Kafka在消息的收发过程都会出现消息丢失，Kafka分别给出了解决方案

  • 生产者发送消息到Brocker丢失
  • 消息在Brocker中存储丢失
  • 消费者从Brocker
    在这里插入图片描述

在这里插入图片描述

幂等方案：【分布式锁、数据库锁（悲观锁、乐观锁）】

1.1 生产者发送消息到Brocker丢失

设置异步发送
在这里插入图片描述

1.2 消息在Brocker中存储丢失

在这里插入图片描述

1.3 消费者从Brocker接收消息丢失

在这里插入图片描述

在这里插入图片描述

如果consumer（消费者）挂掉，自动偏移量的错误可能会导致丢失或重复消费数据
解决方案：禁用自动提交偏移量，改为手动

  • 同步提交（阻塞）
  • 异步提交（信息不准确）
  • 同步+异步组合提交

2. 消息顺序性

应用场景：

  • 即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致
  • 充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序
    问题原因：
    一个topic的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储的偏移量，如果消费者关联了多个分区则不能保证顺序性。
    解决方案（把消息存储在同一个分区下）：
  • 发送消息时指定分区号
  • 发送消息时按照相同的业务设置相同的key

3. 高可用机制

  • 集群模式
  • 分区备份机制

3.1 集群模式

在这里插入图片描述

3.2 分区备份机制

  • 一个topic有多个分区，每个分区有多个副本，其中有一个leader，其余的是follower，副本存储在不同的broker中
  • 所有的分区副本的内容是都是相同的，如果leader发生故障时，会自动将其中一个follower提升为leader
    在这里插入图片描述

在这里插入图片描述

过多的同步复制会降低效率（同步易阻塞），所以只设置较少的ISR

4. 数据清理机制

  • 文件存储机制
  • 数据清理机制

4.1 文件存储机制

  • Kafka中topic的数据存储在分区上，分区如果文件过大会分段存储segment
  • 每个分段都在磁盘上以索引（xxxx.index）和日志文件（xxxx.log）的形式存储
  • 分段的好处是，第一能够减少单个文件内容的大小，查找数据方便，第二方便kafka进行日志清理。
    在这里插入图片描述

4.2 数据清理机制

在这里插入图片描述

5. 高性能设计

  • 消息分区：不受单台服务器的限制，可以不受限的处理更多的数据
  • 顺序读写：磁盘顺序读写，提升读写效率
  • 页缓存：把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问
  • 零拷贝：减少上下文切换及数据拷贝
  • 消息压缩：减少磁盘IO和网络10
  • 分批发送：将消息打包批量发送，减少网络开销

5.1 零拷贝

在开启拷贝读信息要拷贝4次（性能不高）
在这里插入图片描述

开启零拷贝（页缓存）后只拷贝两次
在这里插入图片描述

相关文章：

Kafka面试题及原理

1. 消息可靠性（不丢失） 使用Kafka在消息的收发过程都会出现消息丢失，Kafka分别给出了解决方案 生产者发送消息到Brocker丢失消息在Brocker中存储丢失消费者从Brocker 幂等方案：【分布式锁、数据库锁（悲观锁、乐观锁…...

编程日记 2026/3/27 5:48:09

Jenkinsfile流水线构建教程

前言 Jenkins 是目前使用非常广泛的自动化流程的执行工具, 我们目前的一些自动化编译, 自动化测试都允许在 Jenkins 上面. 在 Jenkins 的术语里面, 一些自动化工作联合起来称之为流水线, 比如拉取代码, 编译, 运行自动化测试等. 本文的主要目的是引导你快速熟悉 Jenkinsfile …...

编程日记 2025/3/26 7:03:43

CSS—text文本、font字体、列表list、表格table、表单input、下拉菜单select

目录 1.文本 2.字体 3.列表list a.无序列表 b.有序列表 c.定义列表 4.表格table a.内容 b.合并单元格 3.表单input a.input标签 b.单选框 c.上传文件 4.下拉菜单 1.文本 属性描述color设置文本颜色。direction指定文本的方向 / 书写方向。letter-spacing设置字符…...

编程日记 2026/3/26 20:10:48

API接口：企业名称、注册号、统一社会信用代码、企业类型、成立日期和法定代表人等数据 API 接口使用指南

API接口：企业名称、注册号、统一社会信用代码、企业类型、成立日期和法定代表人等数据 API 接口使用指南 本文详细介绍一种基于 Web 搜索方式实现的企业信息查询接口，适用于数据补全、企业资质验证、信息查询等场景。文章内容涵盖接口功能、请求参数、返…...

编程日记 2025/3/26 15:27:48

在.net中，async/await的理解

一、什么是同步？什么是异步？ 在.net中，async 和 await 是两个关键字，async 关键字用于声明一个方法是异步方法，该方法可以包含一个或多个 await 表达式。await 关键字是用于在异步方法中等待一个任务（Task…...

编程日记 2025/3/26 5:21:19

水果识别系统 | BP神经网络水果识别系统，含GUI界面（Matlab）

使用说明 代码下载：BP神经网络水果识别系统，含GUI界面（Matlab） BP神经网络水果识别系统 一、引言 1.1、研究背景及意义 在当今科技迅速发展的背景下，人工智能技术尤其是在图像识别领域的应用日益广泛。水果识别作为…...

编程日记 2026/3/17 12:36:10

40岁开始学Java：Java中单例模式（Singleton Pattern）,适用场景有哪些？

在Java中，单例模式（Singleton Pattern）用于确保一个类只有一个实例，并提供全局访问点。以下是详细的实现方式、适用场景及注意事项： 一、单例模式的实现方式 1. 饿汉式（Eager Initialization） …...

编程日记 2026/3/16 20:32:12

李宏毅机器学习课程学习笔记04 | 浅谈机器学习-宝可梦、数码宝贝分类器

文章目录 案例：宝可梦、数码宝贝分类器第一步：需要定义一个含有未知数的function第二步：loss of a function如何Sample Training Examples > 如何抽样可以得到一个较好的结果如何权衡模型的复杂程度 Tradeoff of Model Complexity todo 这…...

编程日记 2026/3/20 10:24:05

C++11中的右值引用和完美转发

C11中的右值引用和完美转发 右值引用 右值引用是 C11 引入的一种新的引用类型，用 && 表示。它主要用于区分左值和右值，并且可以实现移动语义，避免不必要的深拷贝，提高程序的性能。左值通常是可以取地址的表达式&#xf…...

编程日记 2025/3/26 6:07:17

Redis详解（实战 + 面试）

目录 Redis 是单线程的！为什么 Redis-Key(操作redis的key命令) String 扩展字符串操作命令 数字增长命令 字符串范围range命令 设置过期时间命令 批量设置值 string设置对象,但最好使用hash来存储对象 组合命令getset,先get然后在set Hash hash命令: h…...

编程日记 2026/3/24 16:38:42

ISP CIE-XYZ色彩空间

1. 颜色匹配实验 1931年，CIE综合了前人实验数据，统一采用700nm（红）、546.1nm（绿）、435.8nm（蓝）​作为标准三原色波长，绘制了色彩匹配函数，如下图。选定这些波…...

编程日记 2026/3/17 11:24:11

【强化学习笔记1】从强化学习的基本概念到近端策略优化（PPO）

好久没有更新了。最近想学习一下强化学习，本系列是李宏毅老师强化学习的课程笔记。 1. Policy-based Model 1.1 Actor 在policy-based model中，主要的目的就是训练一个actor。 对于一个episode（例如，玩一局游戏）&…...

编程日记 2026/3/18 9:08:31

Deepseek对ChatGPT的冲击？

从测试工程师的视角来看，DeepSeek对ChatGPT的冲击主要体现在**测试场景的垂直化需求与通用模型局限性之间的博弈**。以下从技术适配性、效率优化、风险控制及未来趋势四个维度展开分析： --- ### **一、技术适配性：垂直领域能力决定工具选择…...

编程日记 2026/2/7 19:42:54

STM32中的ADC

目录 一：什么是ADC 二：ADC的用途 三：STM32F103ZET6的ADC 3.1ADC对应的引脚 3.2ADC时钟 3.3ADC的工作模式 ​编辑3.4ADC校准 3.5ADC转换结构和实际电压的换算 四：ADC配置步骤 五：两个重要的函数 一&#xff1a…...

编程日记 2026/3/21 20:19:29

开启AI短剧新纪元!SkyReels-V1/A1双剑合璧!昆仑万维开源首个面向AI短剧的视频生成模型

论文链接：https://arxiv.org/abs/2502.10841 项目链接：https://skyworkai.github.io/skyreels-a1.github.io/ Demo链接：https://www.skyreels.ai/ 开源地址：https://github.com/SkyworkAI/SkyReels-A1 https://github.com/Skywork…...

编程日记 2026/3/20 1:12:25

【uniapp】在UniApp中实现持久化存储：安卓--生成写入数据为jsontxt

在移动应用开发中，数据存储是一个至关重要的环节。对于使用UniApp开发的Android应用来说，缓存（Cache）是一种常见的数据存储方式，它能够提高应用的性能和用户体验。然而，缓存数据在用户清除缓存或清除应用数…...

编程日记 2026/3/26 5:38:34

大白话React第十一章React 相关的高级特性以及在实际项目中的应用优化

假设我们已经对 React 前端框架的性能和可扩展性评估有了一定了解，接下来的阶段可以深入学习 React 相关的高级特性以及在实际项目中的应用优化，以下是详细介绍及代码示例： 1. React 高级特性的深入学习 1.1 React 并发模式（Con…...

编程日记 2026/2/18 4:47:08

java容器 LIst、set、Map

Java容器中的List、Set、Map是核心数据结构，各自适用于不同的场景 一、List（有序、可重复） List接口代表有序集合，允许元素重复和通过索引访问，主要实现类包括： ArrayList 底层结构：动态数组…...

编程日记 2025/3/12 23:56:57

使用IDEA如何隐藏文件或文件夹

选择file -> settings 选择Editor -> File Types ->Ignored Files and Folders (忽略文件和目录) 点击号就可以指定想要隐藏的文件或文件夹...

编程日记 2026/3/16 20:37:51

DOM HTML：深入理解与高效运用

DOM HTML：深入理解与高效运用 引言 随着互联网的飞速发展，前端技术逐渐成为软件开发中的关键部分。DOM（文档对象模型）和HTML（超文本标记语言）是前端开发中的基石。本文将深入探讨DOM和HTML的概念、特性以及在实际开发中的应用，帮助读者更好地理解和使用这两项技术。 …...

编程日记 2025/3/25 21:57:19

形象生动讲解Linux 虚拟化 I/O

用现实生活的比喻和简单例子来解释 Linux 虚拟化 I/O，就像给朋友讲故事一样。 虚拟化 I/O 要解决什么问题？ 想象你有一栋大房子（物理服务器），想把它分割成多个小公寓（虚拟机）出租。每个租客&…...

编程日记 2025/5/24 7:46:50

git从零学起

从事了多年java开发，一直在用svn进行版本控制，如今更换了公司，使用的是git进行版本控制，所以打算记录一下git学习的点滴，和大家一起分享。 百度百科： Git（读音为/gɪt/）是一个开源…...

编程日记 2026/3/25 14:49:15

汽车低频发射天线介绍

汽车低频PKE天线是基于RFID技术的深度研究及产品开发应用的一种天线，在汽车的智能系统中发挥着重要作用，以下是关于它的详细介绍： 移动管家PKE低频天线结构与原理 结构：产品一般由一个高Q值磁棒天线和一个高压电容组成&#xff…...

编程日记 2026/3/27 4:55:16

【Java分布式】Nacos注册中心

Nacos注册中心 SpringCloudAlibaba 也推出了一个名为 Nacos 的注册中心，相比 Eureka 功能更加丰富，在国内受欢迎程度较高。 官网：https://nacos.io/zh-cn/ 集群 Nacos就将同一机房内的实例划分为一个集群，一个服务可以包含多个集…...

编程日记 2026/3/17 4:52:34

【C++】ImGui：极简化的立即模式GUI开发

如果你是GUI开发的新手，或想试试轻量级、易集成的GUI库，ImGui（即时模式图形用户界面）是个不错的选择。它以简洁的API、跨平台的兼容性和卓越的性能，受到许多开发者的喜爱。无论是为C项目添加调试界面，还是构…...

编程日记 2025/3/26 6:58:33

5G学习笔记之BWP

我们只会经历一种人生，我们选择的人生。 参考：《5G NR标准》、《5G无线系统指南:如微见著，赋能数字化时代》 目录 1. 概述2. BWP频域位置3. 初始与专用BWP4. 默认BWP5. 切换BWP 1. 概述 在LTE的设计中，默认所有终端均能处理最大2…...

编程日记 2026/3/26 2:46:04

1. 搭建前端+后端开发框架

1. 说明 本篇博客主要介绍网页开发中，搭建前端和后端开发框架的具体步骤，框架中所使用的技术栈如下： 前端：VUE Javascript 后端：Python Flask Mysql 其中MySQL主要用来存储需要的数据，在本文中搭建基本…...

编程日记 2025/4/28 6:44:58

深入浅出：插入排序算法完全解析

1. 什么是插入排序？ 插入排序（Insertion Sort）是一种简单的排序算法，其基本思想与我们整理扑克牌的方式非常相似。我们将扑克牌从第二张开始依次与前面已排序的牌进行比较，将其插入到合适的位置，直到所有牌…...

编程日记 2026/2/12 7:45:21

（十一）基于vue3+mapbox-GL实现模拟高德实时导航轨迹播放

要在 Vue 3 项目中结合 Mapbox GL 实现类似高德地图的实时导航轨迹功能，您可以按照以下步骤进行： 安装依赖： 首先，安装 mapbox-gl 和 @turf/turf 这两个必要的库： npm install mapbox-gl @turf/turf引入 Mapbox GL： 在组件中引入 mapbox-gl 并初始化地图实例： <templ…...

编程日记 2026/3/18 3:58:15

DeepSeek到TinyLSTM的知识蒸馏

一、架构设计与适配 模型结构对比&#xff1a; DeepSeek&#xff08;教师模型&#xff09;&#xff1a;基于Transformer&#xff0c;多头自注意力机制&#xff0c;层数≥12&#xff0c;隐藏层维度≥768TinyLSTM&#xff08;学生模型&#xff09;&#xff1a;单层双向LSTM&#…...

编程日记 2026/2/6 15:00:32