Kafka入门到起飞系列 - 副本机制，什么是副本因子呢？
我们一直在讲一个主题会有多个分区，这多个分区可以分布在一台服务器上，也可以分布在多台服务器上，还可以增加分区（Kafka目前只支持分区），这是Kafka提供的一种横向扩展的手段
比如我们创建了一个主题，给主题分配50个分区（这个数不大，_consumer_offset主题默认就50个分区），每个分区放在不同的broker上，那么我们要保证这50台服务器都不能宕机，一旦服务器宕机，分区数据就丢失了，保障服务不宕机这是很难的，所以Kafka给我们提供了副本机制
副本机制
- 在Kafka中，将主题分成多个分区
- 分区有两个角色，
Leader分区和Follower分区 - Kafka对外提供读写服务的是Leader分区
- Follower分区
只负责从Leader分区同步消息，与Leader分区保持一致 - Follower分区一定和Leader分区放在不同的服务器（broker）上，否则就没有意义了，一宕全宕
- 当Leader分区宕机，会从Follower分区（ISR同步副本）选出一个转换成Leader分区继续对外提供服务
我们举个🌰，如下图；
- Kafka 集群有三个节点（3个broker）
- 主题Topic有3个分区Partition_0、Partition_1 、Partition_2，三个分区分别放在不同的broker上
- 粉色为Leader分区，灰色为Follower分区
- 每个分区有一个副本，也分别放在不同分区上，并且与其Leader分区放在不同的broker上
- 上图灰色分区就是粉色分区的副本分区
- Kafka 通过副本分区实现高可用
replication-factor副本因子 = leader + followerreplication-factor=3，则leader+2follower- Follower 分区像普通的Kafka消费者一样，消费来自Leader分区的消息，并将其持久化到自己的日志中，
- Kafka允许Follower对日志数据拉取进行批处理
ISR - 同步副本
- 节点与zookeeper保持通信，通过zookeeper的心跳机制，与zookeeper要保持一个长连接
- 允许副本分区与Leader分区有一定消息的偏移
相关文章：
Kafka入门到起飞系列 - 副本机制，什么是副本因子呢？
我们一直在讲一个主题会有多个分区，这多个分区可以分布在一台服务器上，也可以分布在多台服务器上，还可以增加分区（Kafka目前只支持分区），这是Kafka提供的一种横向扩展的手段 比如我们创建了一个主题&#x…...
2023年基准Kubernetes报告：6个K8s可靠性失误
云计算日益成为组织构建应用程序和服务的首选目的地。尽管一年来经济不确定性的头条新闻主要集中在通货膨胀增长和银行动荡方面，但大多数组织预计今年的云使用和支出将与计划的相同（45%），或高于计划的（45%）…...
程序员面试系列，k8s常见面试题
原文链接 一、什么是 Kubernetes？解释其主要功能和用途。 Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它最初由谷歌开发，并于2014年捐赠给了云原生计算基金会&a…...
docker版jxTMS使用指南：站点的调整
本文讲解4.4版jxTMS中的站点的调整，整个系列的文章请查看：[docker版jxTMS使用指南：docker版jxTMS使用指南：4.4版升级内容 docker版本的使用，请查看：docker版jxTMS使用指南 4.0版jxTMS的说明，请…...
element ui input 深层循环v-model绑定默认数据删除不了的情况
例子： 在项目开发中遇到的，简单记录一下 <el-input style"width: 180px"v-model"item.dataForm"input"handleChangeDataForm($event)"type"number"placeholder"请输入1-2的数值"size"smal…...
GBDT的参数空间与超参数优化
目录 1. 默认参数下的GBDT与其它算法的对比 2. 基于TPE对GBDT进行优化 step1：建立benchmark step2：定义参数init需要的算法 step3：定义目标函数、参数空间、优化函数、验证函数 step4：训练贝叶斯优化器 step5：修…...
多线程练习——抽奖箱
题目： 分析以下需求，并用代码实现： 有一个抽奖池,该抽奖池中存放了奖励的金额,该抽奖池中的奖项为 {10,5,20,50,100,200,500,800,900,2,80,300,700};创建两个抽奖箱(线程)设置线程名称分别为“抽奖箱1”，“抽奖箱2”，随…...
RK3399平台开发系列讲解（内核调试篇）Valgrind 内存调试与性能分析
🚀返回专栏总目录 文章目录 一、为什么要学会Valgrind二、什么是内存泄露三、Valgrind的移植四、Valgrind相关参数沉淀、分享、成长，让自己和他人都能有所收获！😄 📢Valgrind 是一个开源的内存调试和性能分析工具，用于帮助开发者找出程序中的内存错误，如内存泄漏、使…...
Windows 11的最新人工智能应用Windows Copilot面世！
Windows Copilot是Windows 11预览版中的一项AI辅助功能。 Windows 11还包括设置应用程序的更改，更广泛的支持压缩文件格式。 上个月，微软宣布将继续其将ChatGPT应用于所有产品的冒险之旅，推出了名为Copilot的新Windows 11功能。几个月前&…...
Mac 预览（Preview）丢失PDF标注恢复
感谢https://blog.csdn.net/yaoyao_chen/article/details/127462497的推荐！ 辛苦用预览在pdf上做的阅读标记，关闭后打开全丢失了，推荐尝试下网站导入文件进行恢复： 直接使用该网页应用PDF Annotation Recovery 或者访问该项目&a…...
4.5. 方法的四种类型
文章目录 1、无参数无返回值的方法2、有参数无返回值的方法3、有返回值无参数的方法4、有返回值有参数的方法5、return 在无返回值方法的特殊使用 1、无参数无返回值的方法 // 无参数无返回值的方法(如果方法没有返回值，不能不写，必须写void，…...
四旋翼无人机使用教程
文章目录 前言一、检查遥控器电源开关混控拨码开关微调开关飞行模式刹车开关行程开关接收机对码 二、检查飞机检查接线 三、解锁并飞行 前言 PX4固件 QGC地面站 Pixhwak飞控 Mc6c遥控器 开源飞控博大精深，欢迎广大爱好者加博主微信名片，一起学习交流。…...
优化 PHP 数据库查询性能
优化 PHP 数据库查询性能可以从以下几个方面入手： 使用索引：在数据库中创建适当的索引可以大大提高查询性能。索引可以加快数据的查找速度，特别是在大型数据库中。选择合适的数据类型：选择正确的数据类型可以减少存储空间的占用&…...
vue 使用stompjs websocket连接rabbitmq
1. 首先确保rabbitmq服务已开启web-stomp 1.1 登录rabbitmq web控制台 1.2 在overview目录下 下拉找到Ports and contexts 看列表有没有http/web-stomp 1.3 如果没有需要开启 window/centos 进入rabbitmq安装目录的bin目录下执行rabbitmq-plugins enable rabbitmq_web_stomp ra…...
com.android.ide.common.signing.KeytoolException:
签名没问题但是提示Execution failed for task :app:packageDebug. > A failure occurred while executing com.android.build.gradle.tasks.PackageAndroidArtifact$IncrementalSplitterRunnable > com.android.ide.common.signing.KeytoolException: Failed to read ke…...
leetcode 1870. Minimum Speed to Arrive on Time（准时到达的最小速度）
需要找一个speed, 使得dist[i] / speed 加起来的时间 < hour, 而且如果前一个dist[i] / speed求出来的是小数，必须等到下一个整数时间才计算下一个。 speed最大不会超过107. 不存在speed满足条件时返回-1. 思路： 如果前一个dist[i] / speed求出来的…...
本地非文字资源无法加载
目录 方法A.静态/动态绑定路径 方法B.require导入（运行时加载） 方法C.import导入（x）（编译时加载） 方法D.ref直接操作元素赋值（x） 相关知识 import和requir区别 模板路径&#…...
Java电子招投标采购系统源码-适合于招标代理、政府采购、企业采购
功能描述 1、门户管理：所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含：招标公告、非招标公告、系统通知、政策法规。 2、立项管理：企业用户可对需要采购的项目进行立项申请，并提交审批，查看…...
万向节死锁
要理解万向节死锁的产生原因，首先要理解欧拉角变换，欧拉角变换是基于最初始的坐标进行变换而非变换后的坐标进行变换。 欧拉角变换需要空间中的三个角（即变换后每个轴的偏移量），另外还有每个轴的变换顺序。值得注意的…...
大数据课程D1——hadoop的初识
文章作者邮箱：yugongshiyesina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解大数据的概念； ⚪ 了解大数据的部门结构； ⚪ 了解hadoop的定义； ⚪ 了解hadoop的发展史； 一、大数据简介 1. 概述…...
使用TaotokenCLI工具一键配置开发环境中的API密钥
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 使用Taotoken CLI工具一键配置开发环境中的API密钥 在团队协作或个人开发中，为每个项目或成员手动配置大模型API密钥和…...
厨房空调技术白皮书：从风冷到水冷，制冷系统在厨房场景中的工程化演进
厨房空调是暖通行业近三年技术迭代最密集的细分品类。从最初的"凉霸"（本质是风扇），到风冷分体式，再到水冷一体式，每代技术都在解决上一代没有覆盖的用户痛点。本文以工程技术视角，梳理四代厨房制…...
解密高校教师必会的Gemini 3.1 Pro五大科研隐藏技能：从论文评估到创新点锁定
各位同仁好，我是七哥。一个在高校里从事人工智能相关领域研究，钻研用大模型AI实操的学术人。可以和七哥交流学术写作或Gemini、GPT、Claude等大模型学术实操相关问题，多多交流，相互成就，共同进步。 科研路上，有人发完顶刊顺利晋升，有人还在为创新点抓耳挠腮。 大多数教…...
C++ vector容器总结
vector基本概念功能：vector数据结构和数组非常相似，也称为单端数组vector与普通数组区别：不同之处在于数组是静态空间，而vector可以动态扩展动态扩展：并不是在原空间之后续接新空间，而是找更大的内存空间&a…...
车载诊断系统（OBD）的原理、演进与未来
本文约8,167字，建议收藏阅读 作者 | 北湾南巷 出品 | 汽车电子与软件 引 言 在现代汽车中，越来越多的故障不再表现为明显的机械损坏，而是以“亮灯”“报码”“性能异常”等电子信号的形式出现。发动机为什么亮起故障灯？排放是否达…...
机器学习与深度学习在社交媒体心理健康检测中的权衡与选择
1. 项目概述：当AI遇见心灵，社交媒体心理健康检测的技术十字路口在社交媒体成为我们数字生活延伸的今天，海量的文本数据无意中记录着用户的情感波动与心理状态。作为一名长期混迹于数据科学和自然语言处理（NLP）一线的从…...
告别漫长等待：UE5.2.1 Windows打包效率优化与插件问题排查指南
告别漫长等待：UE5.2.1 Windows打包效率优化与插件问题排查指南第一次点击"打包项目"按钮时，进度条仿佛被冻结的场景，每个UE5开发者都经历过。尤其当项目规模达到数十GB时，等待时间可能超过一小时——这背后隐藏着引擎底…...
DeepSeek安全测试辅助Prompt工程白皮书（含17个CVE靶场验证指令模板）
更多请点击： https://intelliparadigm.com 第一章：DeepSeek安全测试辅助 DeepSeek系列大模型在代码生成、漏洞模式识别与安全上下文理解方面展现出独特优势，可作为安全测试工程师的智能协作者。其对OWASP Top 10、CWE分类体系及常见PoC结构具…...
Awoo Installer：让Switch游戏安装变得简单高效的终极解决方案
Awoo Installer：让Switch游戏安装变得简单高效的终极解决方案 【免费下载链接】Awoo-Installer A No-Bullshit NSP, NSZ, XCI, and XCZ Installer for Nintendo Switch 项目地址: https://gitcode.com/gh_mirrors/aw/Awoo-Installer 厌倦了繁琐的Switch游戏安…...
Godot 4.3随机地图性能优化：避开TileMap与RNG陷阱
1. 为什么刚写完第一版随机地图就崩溃？——从“能跑”到“能用”的真实断层你兴冲冲地照着教程敲完几十行GDScript，RandomNumberGenerator初始化了，for x in range(width)循环也套好了，甚至还在_draw()里用draw_rect()把每个格子都…...