【ETCD】【源码阅读】 深入解析 raftNode.start`函数:Raft 核心启动逻辑剖析
raftNode.start方法 是 etcd 中 Raft 模块的核心启动点,其职责是管理 Raft 状态机的状态变迁、日志处理及集群通信等逻辑。通过对源码的逐行分析,我们将全面揭示其运行机制,探讨其设计背后的分布式系统理念。
函数核心结构
raftNode.start 方法在一个新的 goroutine 中启动了 Raft 主循环,核心逻辑是通过 for-select 结构不断处理以下任务:
- 定时器驱动的 Raft 心跳与选举。
- 接收并处理 Raft 的状态变更。
- 应用已提交的日志。
- 管理快照和硬状态的持久化。
- 发送消息以维持集群通信。
逐步拆解与分析
1. 初始化与 goroutine 启动
go func() {defer r.onStop()islead := false
onStop:确保 goroutine 优雅退出时清理资源。islead:标记当前节点是否为领导者(Leader),影响后续消息发送与日志处理。
2. 定时心跳驱动
case <-r.ticker.C:r.tick()
- 作用:
- Raft 使用定时器驱动节点的选举与心跳逻辑。
- 调用
r.tick(),触发内部逻辑,包括增加心跳计数器或超时选举。
- 意义:这是 Raft 协议中维持活跃性的核心机制。
3. 处理 Ready 状态
case rd := <-r.Ready():
Ready 是 Raft 状态机生成的待处理对象,包含领导者变更、已提交日志、快照等状态信息。
处理领导者变更
if rd.SoftState != nil {newLeader := rd.SoftState.Lead != raft.None && rh.getLead() != rd.SoftState.Leadif newLeader {leaderChanges.Inc()}if rd.SoftState.Lead == raft.None {hasLeader.Set(0)} else {hasLeader.Set(1)}rh.updateLead(rd.SoftState.Lead)islead = rd.RaftState == raft.StateLeaderif islead {isLeader.Set(1)} else {isLeader.Set(0)}rh.updateLeadership(newLeader)r.td.Reset()
}
SoftState:包含领导者 ID 及节点状态(Leader、Follower)。updateLead:更新领导者信息。updateLeadership:处理领导者身份的切换,包括暂停或恢复租约管理及日志压缩。
应用已提交日志
ap := toApply{entries: rd.CommittedEntries,snapshot: rd.Snapshot,notifyc: notifyc,raftAdvancedC: raftAdvancedC,
}
updateCommittedIndex(&ap, rh)select {
case r.applyc <- ap:
case <-r.stopped:return
}
CommittedEntries:已被集群达成共识的日志。updateCommittedIndex:更新已提交的日志索引。applyc通道:将日志传递给状态机应用层。
消息发送与持久化
if islead {r.transport.Send(r.processMessages(rd.Messages))
}
if err := r.storage.Save(rd.HardState, rd.Entries); err != nil {r.lg.Fatal("failed to save Raft hard state and entries", zap.Error(err))
}
- 领导者:并行发送日志复制消息(
Messages)给其他节点。 - 持久化:存储日志条目(
Entries)与硬状态(HardState),确保数据可靠性。
快照处理
if !raft.IsEmptySnap(rd.Snapshot) {if err := r.storage.SaveSnap(rd.Snapshot); err != nil {r.lg.Fatal("failed to save Raft snapshot", zap.Error(err))}notifyc <- struct{}{}r.raftStorage.ApplySnapshot(rd.Snapshot)r.lg.Info("applied incoming Raft snapshot", zap.Uint64("snapshot-index", rd.Snapshot.Metadata.Index))
}
- 保存快照:优先持久化快照,保证系统能够从快照中恢复。
- 应用快照:将快照数据加载到 Raft 存储,更新系统状态。
4. 通信与配置变更
confChanged := false
for _, ent := range rd.CommittedEntries {if ent.Type == raftpb.EntryConfChange {confChanged = truebreak}
}if confChanged {select {case notifyc <- struct{}{}:case <-r.stopped:return}
}
- 配置变更:处理
EntryConfChange类型的日志,涉及集群成员的增加或删除。 - 同步机制:确保配置变更日志在所有节点应用后生效。
5. 优雅退出
case <-r.stopped:return
- 关闭信号:通过监听
r.stopped通道,结束循环并退出 goroutine。
设计亮点与分布式理念
-
解耦与扩展性:
- Raft 状态的变更通过
Ready对象传递。 - 应用层通过
applyc通道独立处理日志,增强模块化设计。
- Raft 状态的变更通过
-
并行与性能优化:
- 领导者通过并行发送日志复制消息提升性能。
- 快照优先持久化,避免数据不一致。
-
可靠性:
- 所有状态变更均通过持久化操作保证数据一致性。
- 通过定时器和心跳机制维持集群活跃。
总结
raftNode.start 是 etcd 中实现 Raft 协议的核心方法,涵盖了领导者选举、日志复制、状态持久化及快照管理等功能。其设计不仅符合 Raft 协议的理论要求,还通过模块化和并行优化,提升了分布式系统的可靠性与性能。
相关文章:
【ETCD】【源码阅读】 深入解析 raftNode.start`函数:Raft 核心启动逻辑剖析
raftNode.start方法 是 etcd 中 Raft 模块的核心启动点,其职责是管理 Raft 状态机的状态变迁、日志处理及集群通信等逻辑。通过对源码的逐行分析,我们将全面揭示其运行机制,探讨其设计背后的分布式系统理念。 函数核心结构 raftNode.start 方…...
Robust Depth Enhancement via Polarization Prompt Fusion Tuning
paper:论文地址 code:github项目地址 今天给大家分享一篇2024CVPR上的文章,文章是用偏振做提示学习,做深度估计的。模型架构图如下 这篇博客不是讲这篇论文的内容,感兴趣的自己去看paper,主要是分享环境&…...
NEFTune,SFT训练阶段给Embedding加噪音
仿照CV里,数据增强的思路(给图像做旋转、反转、改变亮度等);NLP里,SFT训练数据较少时,也可往embedding上加噪音,来增加训练数据的丰富程度。进而提升最终训练效果。 前提假设:Embed…...
uniapp -- 实现页面滚动触底加载数据
效果 首选,是在pages.json配置开启下拉刷新 {"path": "pages/my/document/officialDocument","style": {"navigationStyle":</...
L22.【LeetCode笔记】相交链表(新版)
目录 1.题目 代码模板 2.分析 编辑 算法误区 正确方法1 但不能通过所有的测试用例 修改后 提交结果 正确方法2 节省代码的技巧 1.题目 https://leetcode.cn/problems/3u1WK4/description/ 给定两个单链表的头节点 headA 和 headB ,请找出并返回两个单…...
智能时代网络空间认知安全新观察
文章目录 前言一、历史上的四次认知革命二、人工智能革命掀起认知安全新浪潮三、人工智能技术塑造认知安全新范式四、人工智能治理应对认知安全新思考 前言 12月5日,在2024第三届北外滩网络安全论坛上以“智能时代网络空间认知安全新观察”为主题作主旨演讲&#x…...
游戏如何应对模拟器作弊
模拟器是指能在PC端模拟出安卓手机系统的软件,市面上比较常见的安卓模拟器有:雷电模拟器、MuMu模拟器、夜神模拟器等。 市面上常见的模拟器 模拟器既可以节省手机内存空间,避免长时间玩游戏手机发烫发热的尴尬,也可以用键盘鼠标对…...
c++ 判断一个 IP 地址(可能是 IPv6 或 IPv4)是否属于特定范围
在 C 中,判断一个 IP 地址(可能是 IPv6 或 IPv4)是否属于特定范围时,需要考虑两种不同的地址格式和它们的范围比较。IPv6 和 IPv4 地址结构完全不同,因此需要分别处理这两种地址类型。 实现思路: 识别 IP…...
计算机视觉——相机标定(Camera Calibration)
文章目录 1. 简介2. 原理3. 相机模型3.1 四大坐标系3.2 坐标系间的转换关系3.2.1 世界坐标系到相机坐标系3.2.2 相机坐标系到图像坐标系3.2.3 像素坐标系转换为图像坐标系3.2.4 世界坐标转换为像素坐标 3.3 畸变3.3.1 畸变类型3.3.1.1 径向畸变(Radial Distortion&a…...
【qt环境配置】windows下的qt与vs工具集安装\版本对应关系
vs工具集安装通过vs的在线安装器勾选工具集即可 工具包下载路径:https://www.microsoft.com/zh-cn/download/details.aspx?id40784 配置工具集在qt中可以自动扫描到 《正确在 Windows 上配置 MSVC(2019) 作为 Qt 编译器》https://b3logfile.com/pdf/article/15922…...
GitHub使用
太久不用GitHub发现自己又有些不会了,突发奇想为何不把每次看到的有指导意义的博客收录一下以便下次查阅呢 如何上传文件夹到GitHub上(配图详解)?_github上傳資料夾-CSDN博客 github上如何删除自己的仓库_github删除仓库-CSDN博…...
元宇宙时代的社交平台:Facebook的愿景与实践
随着科技的不断进步,元宇宙(Metaverse)这一概念逐渐走进了人们的视野。作为全球最大的社交平台之一,Facebook(现Meta)在这场元宇宙革命中扮演着重要角色。Meta不仅在不断扩展其社交平台的边界,还…...
vue2中各种钩子函数的总结以及使用场景
在 Vue 2 中,生命周期钩子函数是 Vue 实例在不同阶段自动调用的函数。这些钩子允许开发者在组件的创建、更新和销毁的特定时刻插入自定义逻辑。以下是 Vue 2 中的各种生命周期钩子函数的总结及其使用场景。 生命周期钩子函数总结 1、beforeCreate 调用时机&#…...
软件架构:从传统单体到现代微服务的技术演变
1.引言 在软件开发中,架构设计不仅仅是程序员的技术任务,它更是一个项目成功的关键。无论是小型应用还是大型分布式系统,软件架构都直接影响着系统的可维护性、可扩展性、性能和稳定性。理解软件架构的必要性,能够帮助开发人员做…...
git新建远程分支后,无法切换
git remote # 列出所有远程主机 git remote update origin --prune # 更新远程主机origin 整理分支 git branch -r # 列出远程分支 git branch -vv # 查看本地分支和远程分支对应关系 git checkout -b gpf origin/gpf # 新建本地分支gpf与远程gpf分支相关…...
【SpringBoot】31 Session + Redis 实战
Gitee https://gitee.com/Lin_DH/system 介绍 【SpringBoot】30 Cookie、Session、Token https://blog.csdn.net/weixin_44088274/article/details/144241595 背景 Spring Session 是 Spring 的一个子项目,它提供了一种管理用户会话信息的方法,无论…...
在Windows环境下的rknn-toolkit环境搭建
首先安装好conda,我是用的是anaconda,miniconda也可以。 下载rknn_toolkit的轮子。可以直接在瑞芯微的git仓库中下载,地址为:github.com/rockchip-linux/rknn-toolkit/releases。我这里下载的是1.7.5版本的。选择rknn-toolkit-v1.…...
Facebook广告突然无消耗?原因解析与解决方案。
在Facebook广告投放中,广告突然无消耗是很多广告主都会遇到的难题。这种情况不仅浪费时间,还可能导致营销活动停滞,影响业务发展。那么,广告无消耗的原因是什么?又该如何解决呢? 一、Facebook广告无消耗的…...
Rabbitmq 镜像队列
RabbitMQ 支持高可用性队列(HA Queues),可以在多个节点之间复制队列,确保即使某个节点失败,消息仍然可用。将 RabbitMQ 部署为集群,确保高可用性和负载均衡。 RabbitMQ 的镜像队列集群(Mirrore…...
TensorBoard
1、TensorFlow的TensorBoard TensorBoard是TensorFlow的一个组件,它提供了一个交互式的界面,用于可视化TensorFlow程序的训练过程和模型结构。 使用TensorBoard,你可以: 可视化训练过程中的各种指标,如损失函数、准…...
RTX 4090D专属PyTorch 2.8镜像:支持torch.distributed多卡训练教程
RTX 4090D专属PyTorch 2.8镜像:支持torch.distributed多卡训练教程 1. 镜像环境介绍 1.1 硬件与软件配置 这个专为RTX 4090D优化的PyTorch 2.8镜像提供了完整的深度学习训练环境,主要配置包括: 显卡支持:专为RTX 4090D 24GB显…...
5大突破:抖音音乐批量下载与智能管理解决方案
5大突破:抖音音乐批量下载与智能管理解决方案 【免费下载链接】douyin-downloader 项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader 在数字内容创作与音乐收藏领域,高效获取和管理抖音平台的音频资源一直是用户面临的核心挑…...
AI原生应用:解决幻觉难题的有效途径
AI原生应用:解决幻觉难题的有效途径 关键词:AI原生应用、大模型幻觉、检索增强生成(RAG)、验证模块、智能系统架构 摘要:大语言模型(LLM)的“幻觉”(Hallucination)问题——生成与事实不符的内容,正成为AI应用落地的最大障碍。本文将从“AI原生应用”的视角出发,用通…...
League Akari:英雄联盟玩家的终极智能辅助工具实战指南
League Akari:英雄联盟玩家的终极智能辅助工具实战指南 【免费下载链接】League-Toolkit 兴趣使然的、简单易用的英雄联盟工具集。支持战绩查询、自动秒选等功能。基于 LCU API。 项目地址: https://gitcode.com/gh_mirrors/le/League-Toolkit 你是否厌倦了在…...
从零开始:使用Python Add-in快速构建ArcGIS自定义工具条
1. Python Add-in入门:ArcGIS插件开发新选择 第一次接触ArcGIS插件开发时,我被各种复杂的开发方式搞得晕头转向。直到发现了Python Add-in这个神器,才发现原来开发自定义工具条可以这么简单!Python Add-in是Esri在ArcGIS 10.1引入…...
PhysX 5.1入门实战:从Hello World到刚体模拟的完整流程解析
PhysX 5.1入门实战:从Hello World到刚体模拟的完整流程解析 在游戏开发和物理仿真领域,PhysX引擎一直以其强大的性能和易用性著称。作为NVIDIA旗下的物理引擎解决方案,PhysX 5.1版本带来了更多优化和新特性。本文将带您从零开始,通…...
避坑指南:CentOS7部署LibreNMS常见错误及解决方案
CentOS7部署LibreNMS避坑实战:从SELinux到数据库权限的深度排错指南 对于网络监控系统的部署,LibreNMS以其开源特性和强大功能成为众多技术团队的首选。但在CentOS7环境下,从系统配置到服务调优的每个环节都可能成为阻碍顺利部署的暗礁。本文…...
从黑盒到白盒:基于GB28181/RTSP全栈源码交付的AI视频平台OEM与低代码集成实战
引言:掌握核心代码,重塑交付价值链 对于系统集成商(SI)和独立软件开发商(ISV)而言,依赖厂商的“黑盒”产品无异于将命运交予他人。功能定制周期长、接口开放受限、Logo无法替换、私有协议无法打…...
Spark--一文了解SparkSql的Join策略
文章目录前言一、join 基本要素二、join 实现三、五种join 策略3.1 2 种数据分发模式(数据怎么到同一个节点)3.1.1 Broadcast Join(广播 Join,也叫 Map Join)3.1.2 Shuffle Join(重分区 Join,也…...
打卡信奥刷题(3016)用C++实现信奥题 P6334 [COCI 2007/2008 #1] SREDNJI
P6334 [COCI 2007/2008 #1] SREDNJI 题目描述 给定一个长度为 nnn 的 1∼n1\sim n1∼n 的排列 a1,…,ana_1,\dots ,a_na1,…,an,请你找出这个排列有多少个长度为奇数的子串的中位数为 BBB。 子串定义:把这个排列从开头(可能无ÿ…...
