当前位置： 首页 > news >正文

Kafka入门到起飞系列 - 副本机制，什么是副本因子呢？

news 2026/4/2 5:14:19

我们一直在讲一个主题会有多个分区，这多个分区可以分布在一台服务器上，也可以分布在多台服务器上，还可以增加分区（Kafka目前只支持分区），这是Kafka提供的一种横向扩展的手段
比如我们创建了一个主题，给主题分配50个分区（这个数不大，_consumer_offset主题默认就50个分区），每个分区放在不同的broker上，那么我们要保证这50台服务器都不能宕机，一旦服务器宕机，分区数据就丢失了，保障服务不宕机这是很难的，所以Kafka给我们提供了副本机制

副本机制

  • 在Kafka中，将主题分成多个分区
  • 分区有两个角色，Leader分区和Follower分区
  • Kafka对外提供读写服务的是Leader分区
  • Follower分区只负责从Leader分区同步消息，与Leader分区保持一致
  • Follower分区一定和Leader分区放在不同的服务器（broker）上，否则就没有意义了，一宕全宕
  • 当Leader分区宕机，会从Follower分区（ISR同步副本）选出一个转换成Leader分区继续对外提供服务

我们举个🌰，如下图；
![在这里插入图片描述](https://img-blog.csdnimg.cn/393b23d768194f80a9edd6b4e97df94f.png

  • Kafka 集群有三个节点（3个broker）
  • 主题Topic有3个分区Partition_0、Partition_1 、Partition_2，三个分区分别放在不同的broker上
  • 粉色为Leader分区，灰色为Follower分区
  • 每个分区有一个副本，也分别放在不同分区上，并且与其Leader分区放在不同的broker上
  • 上图灰色分区就是粉色分区的副本分区
  • Kafka 通过副本分区实现高可用
  • replication-factor 副本因子 = leader + follower replication-factor=3，则leader+2follower
  • Follower 分区像普通的Kafka消费者一样，消费来自Leader分区的消息，并将其持久化到自己的日志中，
  • Kafka允许Follower对日志数据拉取进行批处理

ISR - 同步副本

  • 节点与zookeeper保持通信，通过zookeeper的心跳机制，与zookeeper要保持一个长连接
  • 允许副本分区与Leader分区有一定消息的偏移

相关文章：

Kafka入门到起飞系列 - 副本机制，什么是副本因子呢？

我们一直在讲一个主题会有多个分区，这多个分区可以分布在一台服务器上，也可以分布在多台服务器上，还可以增加分区（Kafka目前只支持分区），这是Kafka提供的一种横向扩展的手段 比如我们创建了一个主题&#x…...

编程日记 2023/7/28 2:14:43

2023年基准Kubernetes报告：6个K8s可靠性失误

云计算日益成为组织构建应用程序和服务的首选目的地。尽管一年来经济不确定性的头条新闻主要集中在通货膨胀增长和银行动荡方面，但大多数组织预计今年的云使用和支出将与计划的相同（45%），或高于计划的（45%）…...

编程日记 2023/7/28 2:13:42

程序员面试系列，k8s常见面试题

原文链接 一、什么是 Kubernetes？解释其主要功能和用途。 Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它最初由谷歌开发，并于2014年捐赠给了云原生计算基金会&a…...

编程日记 2023/7/28 2:12:40

docker版jxTMS使用指南：站点的调整

本文讲解4.4版jxTMS中的站点的调整，整个系列的文章请查看：[docker版jxTMS使用指南：docker版jxTMS使用指南：4.4版升级内容 docker版本的使用，请查看：docker版jxTMS使用指南 4.0版jxTMS的说明，请…...

编程日记 2023/7/28 2:11:39

element ui input 深层循环v-model绑定默认数据删除不了的情况

例子&#xff1a; 在项目开发中遇到的&#xff0c;简单记录一下 <el-input style"width: 180px"v-model"item.dataForm"input"handleChangeDataForm($event)"type"number"placeholder"请输入1-2的数值"size"smal…...

编程日记 2023/7/28 2:10:37

GBDT的参数空间与超参数优化

目录 1. 默认参数下的GBDT与其它算法的对比 2. 基于TPE对GBDT进行优化 step1&#xff1a;建立benchmark step2&#xff1a;定义参数init需要的算法 step3&#xff1a;定义目标函数、参数空间、优化函数、验证函数 step4&#xff1a;训练贝叶斯优化器 step5&#xff1a;修…...

编程日记 2023/7/28 2:09:34

多线程练习——抽奖箱

题目&#xff1a; 分析以下需求&#xff0c;并用代码实现&#xff1a; 有一个抽奖池,该抽奖池中存放了奖励的金额,该抽奖池中的奖项为 {10,5,20,50,100,200,500,800,900,2,80,300,700};创建两个抽奖箱(线程)设置线程名称分别为“抽奖箱1”&#xff0c;“抽奖箱2”&#xff0c;随…...

编程日记 2023/7/28 2:08:32

RK3399平台开发系列讲解（内核调试篇）Valgrind 内存调试与性能分析

🚀返回专栏总目录 文章目录 一、为什么要学会Valgrind二、什么是内存泄露三、Valgrind的移植四、Valgrind相关参数沉淀、分享、成长，让自己和他人都能有所收获！😄 📢Valgrind 是一个开源的内存调试和性能分析工具，用于帮助开发者找出程序中的内存错误，如内存泄漏、使…...

编程日记 2023/7/28 2:07:31

Windows 11的最新人工智能应用Windows Copilot面世！

Windows Copilot是Windows 11预览版中的一项AI辅助功能。 Windows 11还包括设置应用程序的更改&#xff0c;更广泛的支持压缩文件格式。 上个月&#xff0c;微软宣布将继续其将ChatGPT应用于所有产品的冒险之旅&#xff0c;推出了名为Copilot的新Windows 11功能。几个月前&…...

编程日记 2023/7/28 2:06:30

Mac 预览（Preview）丢失PDF标注恢复

感谢https://blog.csdn.net/yaoyao_chen/article/details/127462497的推荐&#xff01; 辛苦用预览在pdf上做的阅读标记&#xff0c;关闭后打开全丢失了&#xff0c;推荐尝试下网站导入文件进行恢复&#xff1a; 直接使用该网页应用PDF Annotation Recovery 或者访问该项目&a…...

编程日记 2023/7/28 2:05:29

4.5. 方法的四种类型

文章目录 1、无参数无返回值的方法2、有参数无返回值的方法3、有返回值无参数的方法4、有返回值有参数的方法5、return 在无返回值方法的特殊使用 1、无参数无返回值的方法 // 无参数无返回值的方法(如果方法没有返回值&#xff0c;不能不写&#xff0c;必须写void&#xff0c…...

编程日记 2023/7/28 2:04:27

四旋翼无人机使用教程

文章目录 前言一、检查遥控器电源开关混控拨码开关微调开关飞行模式刹车开关行程开关接收机对码 二、检查飞机检查接线 三、解锁并飞行 前言 PX4固件 QGC地面站 Pixhwak飞控 Mc6c遥控器 开源飞控博大精深&#xff0c;欢迎广大爱好者加博主微信名片&#xff0c;一起学习交流。…...

编程日记 2023/7/28 2:03:26

优化 PHP 数据库查询性能

优化 PHP 数据库查询性能可以从以下几个方面入手&#xff1a; 使用索引&#xff1a;在数据库中创建适当的索引可以大大提高查询性能。索引可以加快数据的查找速度&#xff0c;特别是在大型数据库中。选择合适的数据类型&#xff1a;选择正确的数据类型可以减少存储空间的占用&…...

编程日记 2023/7/28 2:02:24

vue 使用stompjs websocket连接rabbitmq

1. 首先确保rabbitmq服务已开启web-stomp 1.1 登录rabbitmq web控制台 1.2 在overview目录下 下拉找到Ports and contexts 看列表有没有http/web-stomp 1.3 如果没有需要开启 window/centos 进入rabbitmq安装目录的bin目录下执行rabbitmq-plugins enable rabbitmq_web_stomp ra…...

编程日记 2023/7/28 2:01:23

com.android.ide.common.signing.KeytoolException:

签名没问题但是提示Execution failed for task :app:packageDebug. > A failure occurred while executing com.android.build.gradle.tasks.PackageAndroidArtifact$IncrementalSplitterRunnable > com.android.ide.common.signing.KeytoolException: Failed to read ke…...

编程日记 2023/7/28 2:00:22

leetcode 1870. Minimum Speed to Arrive on Time（准时到达的最小速度）

需要找一个speed, 使得dist[i] / speed 加起来的时间 < hour, 而且如果前一个dist[i] / speed求出来的是小数&#xff0c;必须等到下一个整数时间才计算下一个。 speed最大不会超过107. 不存在speed满足条件时返回-1. 思路&#xff1a; 如果前一个dist[i] / speed求出来的…...

编程日记 2023/7/28 1:59:20

本地非文字资源无法加载

目录 方法A.静态/动态绑定路径 方法B.require导入&#xff08;运行时加载&#xff09; 方法C.import导入&#xff08;x&#xff09;&#xff08;编译时加载&#xff09; 方法D.ref直接操作元素赋值&#xff08;x&#xff09; 相关知识 import和requir区别 模板路径&#…...

编程日记 2023/7/28 1:58:18

Java电子招投标采购系统源码-适合于招标代理、政府采购、企业采购

功能描述 1、门户管理&#xff1a;所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含&#xff1a;招标公告、非招标公告、系统通知、政策法规。 2、立项管理&#xff1a;企业用户可对需要采购的项目进行立项申请&#xff0c;并提交审批&#xff0c;查看…...

编程日记 2023/7/28 1:57:16

万向节死锁

要理解万向节死锁的产生原因&#xff0c;首先要理解欧拉角变换&#xff0c;欧拉角变换是基于最初始的坐标进行变换而非变换后的坐标进行变换。 欧拉角变换需要空间中的三个角&#xff08;即变换后每个轴的偏移量&#xff09;&#xff0c;另外还有每个轴的变换顺序。值得注意的…...

编程日记 2023/7/28 1:56:15

大数据课程D1——hadoop的初识

文章作者邮箱&#xff1a;yugongshiyesina.cn 地址&#xff1a;广东惠州 ▲ 本章节目的 ⚪ 了解大数据的概念&#xff1b; ⚪ 了解大数据的部门结构&#xff1b; ⚪ 了解hadoop的定义&#xff1b; ⚪ 了解hadoop的发展史&#xff1b; 一、大数据简介 1. 概述…...

编程日记 2023/7/28 1:55:13

Ostrakon-VL终端部署案例：单卡3090实现12路摄像头并发扫描

Ostrakon-VL终端部署案例&#xff1a;单卡3090实现12路摄像头并发扫描 1. 项目背景与核心价值 在零售与餐饮行业&#xff0c;传统的图像识别系统往往面临两个痛点&#xff1a;一是工业级UI操作复杂&#xff0c;员工培训成本高&#xff1b;二是多路摄像头并发处理需要昂贵的高…...

编程新知 2026/4/2 4:57:37

如何高效突破Cursor试用限制：全功能AI编程助手解锁指南

如何高效突破Cursor试用限制&#xff1a;全功能AI编程助手解锁指南 【免费下载链接】cursor-free-vip [Support 0.45]&#xff08;Multi Language 多语言&#xff09;自动注册 Cursor Ai &#xff0c;自动重置机器ID &#xff0c; 免费升级使用Pro 功能: Youve reached your tr…...

编程新知 2026/4/2 2:47:16

大疆诉影石创新专利侵权，FTO综合分析筑牢研发风控屏障

3月23日&#xff0c;全球无人机巨头大疆对同行影石创新提起专利权属纠纷诉讼&#xff0c;涉案6项专利聚焦无人机飞行控制、结构设计、影像处理等核心技术领域&#xff0c;这场行业龙头间的知识产权纠纷&#xff0c;成为近日行业关注焦点。职务发明权属成为争议关键本次纠纷由大…...

编程新知 2026/4/2 1:50:15

AI营销SaaS榜单评测：原圈科技如何助力品牌客户破局增长？

本文深度探讨AI营销行业趋势与SaaS产品评选标准。在众多解决方案中&#xff0c;原圈科技的AI营销SaaS平台凭借其领先的技术底层能力、产品成熟度及客户成功案例&#xff0c;在市场适配度与服务落地性等多个维度下表现突出&#xff0c;被普遍视为企业实现精细化营销升级的有力选…...

编程新知 2026/4/2 1:50:15

JAVA重点基础、进阶知识及易错点总结（17）线程安全 synchronized 同步锁

&#x1f680; Java 巩固进阶 第17天 主题&#xff1a;线程安全 & synchronized 同步锁 —— 并发编程的第一道防线&#x1f4c5; 进度概览&#xff1a;今天攻克 多线程最核心难题&#xff1a;线程安全。这是面试必考、生产环境必用的知识点&#xff0c;直接决定你的代码能…...

编程新知 2026/4/2 1:32:13

从‘迷失’到‘秒达’：我用PyCharm的‘符号搜索’和‘调用链查看’重构了老项目

从‘迷失’到‘秒达’&#xff1a;我用PyCharm的‘符号搜索’和‘调用链查看’重构了老项目 接手一个缺乏文档的遗留代码库&#xff0c;就像被扔进一座没有地图的迷宫。上周我面对的就是这样一个Python项目——3万行代码&#xff0c;零文档&#xff0c;函数命名随意得像临时起意…...

编程新知 2026/4/2 0:35:07

IDEA插件MyBatisX实战：3分钟搞定SpringBoot项目CRUD代码生成

MyBatisX插件全流程实战&#xff1a;SpringBoot项目CRUD代码生成效率革命 在快节奏的企业级开发中&#xff0c;重复编写基础CRUD代码就像在键盘上跳机械舞——动作标准却毫无新意。当项目包含20张以上数据表时&#xff0c;手动创建Entity、Mapper、Service等层级代码会消耗开发…...

编程新知 2026/4/2 0:12:46

Omni-Vision Sanctuary 企业级部署架构设计：高可用与弹性伸缩

Omni-Vision Sanctuary 企业级部署架构设计&#xff1a;高可用与弹性伸缩 1. 企业级AI部署面临的挑战 当企业决定在生产环境中部署Omni-Vision Sanctuary这类AI服务时&#xff0c;通常会遇到几个关键挑战。首先是服务可用性问题&#xff0c;任何计划外停机都可能直接影响业务…...

编程新知 2026/4/1 23:52:37

零基础入门AI开发：在快马平台亲手制作你的第一个口播智能体

最近在尝试入门AI开发&#xff0c;发现用InsCode(快马)平台做"旗博士口播智能体"特别适合零基础选手。这个项目不需要自己从头写代码&#xff0c;但能完整走通AI应用开发全流程&#xff0c;分享下我的学习笔记&#xff1a; 项目整体结构 整个项目分三部分&#xff1a…...

编程新知 2026/4/1 23:22:12

cool-admin(midway版)数据导入模板：Excel模板设计与导出

cool-admin(midway版)数据导入模板&#xff1a;Excel模板设计与导出 【免费下载链接】cool-admin-midway &#x1f525; cool-admin(midway版)一个很酷的后台权限管理框架&#xff0c;模块化、插件化、CRUD极速开发&#xff0c;永久开源免费&#xff0c;基于midway.js 3.x、typ…...

编程新知 2026/4/1 23:20:08