当前位置： 首页 > news >正文

Kafka 入门到起飞 - 什么是 HW 和 LEO？何时更新HW和LEO呢？

news 2025/7/7 4:41:24

上文我们已经学到，

  • 一个Topic（主题）会有多个Partition（分区）
  • 为了保证高可用，每个分区有多个Replication（副本）
  • 副本分为Leader 和 Follower 两个角色，Leader副本对外提供读写服务，Follower 从Leader同步数据
  • 当Leader副本挂掉，从ISR中选举一个Follower副本成为新的Leader对外继续提供服务
  • 那么就要保证分区各副本间数据一致性

图1：
在这里插入图片描述

见上图，先来熟悉一下

  • 已提交，Leader副本已经被ISR中所有Follower 都同步的消息
  • 未提交，Leader已经写入，还没有被Follower同步的消息
  • 对Consumer（消费者）而言，已提交的消息都可以拿到
  • Leader 和 Follower副本上都有HW 和 LEO
  • Leader副本除了自己的LEO，还存Follower的LEO（Remote LEO）

HW （High WaterMarker） 高水位

图2：
在这里插入图片描述
高水位可以理解为一个横切面，存储的也是Offset(位移)值，
拉齐分区ISR所有副本已经写入的消息，保证HW前的消息你有我有全都有啊，水桶原理

这里要注意，所有副本指的是ISR列表中的同步副本，OSR中同步慢的副本不管
为啥只管ISR列表，不管OSR列表中的副本呢？
这也就是为啥要搞HW 和 LEO 的原因，搞HW就是为了当Leader宕机了，会从ISR列表中选举一个Follower成为新的Leader继续对外提供服务，来实现高可用，而HW能保证任意一个Follower都包含对消费者可见的所有数据，实现数据的可靠性
而OSR是同步过慢的副本，选举也不选它，所以记录HW值也没必要管OSR列表

LEO （Log End Offset） 日志末端位移

就是下一个消息要写入的Offset（位移），
如上图1，当前副本最后一条消息的位移是13，下一个消息写入14位置，该副本的LEO值就是14

Follower 副本何时更新LEO呢？

以图2 中为例：
Leader 的LEO = 14
Follower1 的 LEO = 12
Follower2 的 LEO = 8

在这里插入图片描述

  • 对于Leader副本来说，每次写入消息，都会更新LEO的值
  • Follower 副本不停地向Leader副本发送Fetch请求，一旦获取数据后就写入log(日志)文件中进行备份，同时更新LEO值
  • 其实Follower跟Leader一样，写入数据后就更新自己的LEO值

那么Leader 端的Follower的LEO 什么时候更新呢？

  • 当Leader接收到Follower发起的Fetch请求
  • 先从Log文件中读取数据
  • 先更新Leader中存储的Follower的LEO
  • 再将数据返回给Follower
  • 这里会不会存在Leader更新了Follower的LEO，但是Follower实际并没有收到返回的消息，而造成Follower 所在broker 和 Leader所在broker存的LEO值不一致呢？

Follower 何时更新HW呢？

以图2 中为例：
Leader 、Follower1 、 Follower2 的 HW = 7

在这里插入图片描述

  • Follower写入数据后，会更新自己的LEO值，然后就尝试更新自己的HW值
  • Follower的HW值是怎么算的呢？
    • 是根据自己当前LEO值与Leader返回的HW值比较，去较小值作为HW更新
    • 这很好理解，Leader中记录的HW是所有副本HW最小的值，也就是同步最慢的那个副本的LEO，每个副本都需要知道这个事，自己不是最小那就记别人的值

Leader 何时更新HW呢？

  • Leader中存储的HW就是整个分区的HW，直接影响消息对消费者的可见性
  • Leader更新HW有4中情况
    • Leader接收生产者发送过来的消息，写入文件后，检查是否需要更新HW
    • Follower副本选举成为新的Leader是，Kafka会尝试去更新分区HW
    • Broker崩溃，导致副本被踢出ISR，Kafka会检查分区HW是否有被更新的必要
    • Leader处理Follower的Fetch请求是，先从Log读取数据，然后尝试跟新HW值
  • 正常情况下就是2种： leader处理producer请求，leader处理follower的fetch请求

Leader 的HW值是怎么算的呢？

  • 先选出所有满足条件的副本，ISR同步副本
  • 比较它们的LEO（包括leader的LEO）
  • 选择最小的LEO值作为HW

感觉有点迷糊？ 我们再来一篇举个栗子，掰BoBo说陷一下子，跟住奥~

** 都说kafka最厉害的地方是他的设计思想，果然有很多精妙之处啊**

相关文章：

Kafka 入门到起飞 - 什么是 HW 和 LEO？何时更新HW和LEO呢？

上文我们已经学到， 一个Topic（主题）会有多个Partition（分区）为了保证高可用，每个分区有多个Replication（副本）副本分为Leader 和 Follower 两个角色，Leader副本对外提供读…...

编程日记 2023/8/17 23:36:49

go入门实践五-实现一个https服务

文章目录 前言生成证书申请免费的证书使用Go语言生成自签CA证书 https的客户端和服务端服务端代码客户端代码 tls的客户端和服务端服务端客户端 前言 在公网中，我想加密传输的数据。(1)很自然，我想到了把数据放到http的请求中，然后通过tls确…...

编程日记 2023/8/17 23:35:45

面试之快速学习STL-set

set 和 map、multimap 容器不同，使用 set 容器存储的各个键值对，要求键 key 和值 value 必须相等使用 set 容器存储的各个元素的值必须各不相同从语法上讲 set 容器并没有强制对存储元素的类型做 const 修饰, 即 set 容器中存储的元素的值是可以修改的。…...

编程日记 2023/8/17 23:34:44

leetcode 1614.括号的最大嵌套深度

⭐️ 题目描述 🌟leetcode链接：括号的最大嵌套深度 ps： 使用数据结构栈来存储 ( 在使用 maxDepth 变量记录栈顶 top 的最大值，当遇到 ) 时删除栈顶元素。举个例子 (1)((2))(((3)))，当遇到第一个 ( 时 top 1&#xff…...

编程日记 2023/8/17 23:33:43

Ajax 笔记（四）—— Ajax 进阶

笔记目录 4. Ajax 进阶4.1 同步代码和异步代码4.2 回调函数地狱4.2.1 解决方法一：Promise 链式调用4.2.2 解决方法二：async 函数和 await 4.3 Promise.all 静态方法4.4 事件循环4.4.1 事件循环4.4.2 宏任务与微任务 4.5 案例4.5.1 案例一-商品分类4.5.2 …...

编程日记 2023/8/17 23:32:41

Linux 5种网络IO模型

Linux IO模型 网络IO的本质是socket的读取，socket在linux系统被抽象为流，IO可以理解为对流的操作。刚才说了，对于一次IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操…...

编程日记 2023/8/17 23:31:40

Linux多线程【初识线程】

✨个人主页： 北 海 🎉所属专栏： Linux学习之旅 🎃操作环境： CentOS 7.6 阿里云远程服务器 文章目录 🌇前言🏙️正文1、什么是线程？1.1、基本概念1.2、线程理解1.3、进程与线程的关系…...

编程日记 2023/8/17 23:30:39

Python爬虫的应用场景与技术难点：如何提高数据抓取的效率与准确性

作为专业爬虫程序员，我们在数据抓取过程中常常面临效率低下和准确性不高的问题。但不用担心！本文将与大家分享Python爬虫的应用场景与技术难点，并提供一些实际操作价值的解决方案。让我们一起来探索如何提高数据抓取的效率与准确性吧&#xf…...

编程日记 2023/8/17 23:29:37

Spring Cloud Gateway系例—参数配置（CORS 配置、SSL、元数据）

一、CORS 配置 你可以配置网关来控制全局或每个路由的 CORS 行为。两者都提供同样的可能性。 1. Global CORS 配置 “global” CORS配置是对 Spring Framework CorsConfiguration 的URL模式的映射。下面的例子配置了 CORS。 Example 77. application.yml spring:cloud:gat…...

编程日记 2023/8/17 23:28:36

QT：UI控件（按设计师界面导航界面排序）

基础部分 创建新项目：QWidget，QMainWindow，QDialog QMainWindow继承自QWidget，多了菜单栏; QDialog继承自QWidget，多了对话框 QMainWindow 菜单栏和工具栏： Bar: 菜单栏：QMenuBar&#xff0…...

编程日记 2023/8/17 23:27:35

AtCoder Beginner Contest 314-A/B/C

A - 3.14 题目要求输出圆周率保留小数几位后的结果 用字符串来存储长串的圆周率&#xff0c;截取字符串就可以了。 #include<iostream> using namespace std; int main() {string s"3.1415926535897932384626433832795028841971693993751058209749445923078164062…...

编程日记 2023/8/17 23:26:34

讯飞星火、文心一言和通义千问同时编“贪吃蛇”游戏，谁会胜出？

同时向讯飞星火、文心一言和通义千问三个国产AI模型提个相同的问题&#xff1a; “python 写一个贪吃蛇的游戏代码” 看哪一家AI写的程序直接能用&#xff0c;谁就胜出&#xff01; 讯飞星火 讯飞星火给出的代码&#xff1a; import pygame import sys import random# 初…...

编程日记 2023/8/17 23:25:32

数学建模之“聚类分析”原理详解

一、聚类分析的概念 1、聚类分析&#xff08;又称群分析&#xff09;是研究样品&#xff08;或指标&#xff09;分类问题的一种多元统计法。 2、主要方法&#xff1a;系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。这里主要介绍系统聚类法…...

编程日记 2023/8/17 23:24:31

【面试问题】当前系统查询接口需要去另外2个系统库中实时查询返回结果拼接优化思路

文章目录 场景描述优化思路分享资源 场景描述 接口需要从系统1查询数据&#xff0c;查出的每条数据需要从另一个系统2中再去查询某些字段&#xff0c; 比如&#xff1a;从系统1中查出100条数据&#xff0c;每条数据需要去系统2中再去查询出行数据&#xff0c;可能系统1一条数…...

编程日记 2023/8/17 23:23:29

Scada和lloT有什么区别？

人们经常混淆SCADA&#xff08;监督控制和数据采集&#xff09;和IIoT&#xff08;工业物联网&#xff09;。虽然SCADA系统已经存在多年&#xff0c;但IIoT是一种相对较新的技术&#xff0c;由于其能够收集和分析来自各种设备的大量数据而越来越受欢迎。SCADA和IIoT都用于提高工…...

编程日记 2023/8/17 23:22:28

Conda（Python管理工具）

1.简介 Conda是一个开源的包管理器和环境管理器&#xff0c;主要用于管理Python&#xff0c;但也可以用于其他语言。它主要用于安装、管理和更新软件包及其依赖项&#xff0c;以及创建、保存、加载和切换不同的开发环境。Conda可以在Windows、MacOS和Linux系统上使用&#xff…...

编程日记 2023/8/17 23:21:23

(14)嵌套列表,Xpath路径表达式,XML增删查改,Implicit,Operator,Xml序列化,浅拷贝与深拷贝

一、作业问题 1、问&#xff1a;listbox1.items[i]返回的object是指的字符串吗&#xff1f; 答&#xff1a;items是真正的对象集合&#xff0c;在Add时加的是Person对象p&#xff0c;则里面的item就是Person对象p。 但是&#xff0c;在listbox1显…...

编程日记 2023/8/17 23:20:20

软考笔记 信息管理师 高级

文章目录 介绍考试内容与时间教材 预习课程一些例子课本结构考试内容 1 信息与信息化1.1 信息与信息化1.1.1 信息1.1.2 信息系统1.1.3 信息化 1.2 现代化基础设施1.2.1 新型基础建设1.2.2 工业互联网1.2.3 车联网&#xff1a; 1.3 现代化创新发展1.3.1 农业农村现代化1.3.2 两化…...

编程日记 2023/8/17 23:19:19

124、SpringMVC处理一个请求的流程是怎样的？

SpringMVC处理一个请求的流程是怎样的？ 一、处理流程二、流程图三、额外扩展（可不看）一、处理流程 Tomcat接收到一个请求后，会交给DispatcherServlet进行处理DispatcherServlet会根据请求的path找到对应的HandlerHandler就是一个加了@RequestMapping的方法，然后就利用反射…...

编程日记 2023/8/17 23:18:17

低成本高收益，五金店小程序的秘密武器

如今&#xff0c;随着移动互联网的快速发展&#xff0c;小程序成为了许多企业进行线上业务拓展的重要方式之一。对于那些不懂代码的人来说&#xff0c;制作一个小程序可能会让人觉得困难重重。但是&#xff0c;现在&#xff0c;借助乔拓云平台&#xff0c;不懂代码的人也能轻松…...

编程日记 2023/8/17 23:17:16

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码 国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制&#xff0c;因此这个了16进制的数据既可以翻译成为这个机器码&#xff0c;也可以翻译成为这个国标码&#xff0c;所以这个时候很容易会出现这个歧义的情况&#xff1b; 因此&#xff0c;我们的这个国…...

编程新知 2025/7/6 4:31:41

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中&#xff0c;iftop是网络管理的得力助手&#xff0c;能实时监控网络流量、连接情况等&#xff0c;帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

编程新知 2025/6/17 9:25:03

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中&#xff0c;我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2025/7/6 20:24:35

51c自动驾驶~合集58

我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留&#xff0c;CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制&#xff08;CCA-Attention&#xff09;&#xff0c;…...

编程新知 2025/6/29 18:40:59

Spring Boot 实现流式响应（兼容 2.7.x）

在实际开发中&#xff0c;我们可能会遇到一些流式数据处理的场景&#xff0c;比如接收来自上游接口的 Server-Sent Events&#xff08;SSE&#xff09; 或 流式 JSON 内容&#xff0c;并将其原样中转给前端页面或客户端。这种情况下&#xff0c;传统的 RestTemplate 缓存机制会…...

编程新知 2025/6/21 9:48:10

STM32+rt-thread判断是否联网

一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

编程新知 2025/6/25 2:07:42

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2025/7/5 19:43:21

前端导出带有合并单元格的列表

// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...

编程新知 2025/7/6 21:13:12

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文&#xff1f; 多租户隔离&#xff1a;自动为接入设备追加租户前缀&#xff0c;后端按 ClientID 拆分队列。零代码鉴权&#xff1a;将入站用户名替换为 OAuth Access-Token&#xff0c;后端 Broker 统一校验。灰度发布&#xff1a;根据 IP/地理位写…...

编程新知 2025/6/27 14:22:50

2025盘古石杯决赛【手机取证】

前言 第三届盘古石杯国际电子数据取证大赛决赛 最后一题没有解出来&#xff0c;实在找不到&#xff0c;希望有大佬教一下我。 还有就会议时间&#xff0c;我感觉不是图片时间&#xff0c;因为在电脑看到是其他时间用老会议系统开的会。 手机取证 1、分析鸿蒙手机检材&#x…...

编程新知 2025/7/7 0:14:49