当前位置： 首页 > news >正文

Hadoop3：HDFS副本节点选择逻辑讲解

news 2025/12/24 16:24:29

一、副本节点选择（机架感知）

在这里插入图片描述
说明
第一个副本，因为我们的client可能是web页，也可能是shell终端。
如果是web页，则随机选取一个节点，如果是shell终端，则选择当前shell终端所在的节点。
节点距离最近，保证了性能。

第二个副本，选择机架2的n0节点，为了保证数据的可靠性。

第三个副本，为什么不选择机架3上的节点呢？
因为，第二个副本已经保证了可靠性，所以，第三副本，更注重性能，所以，根据节点距离最近原则，选择机架2的n1节点。

二、两个节点间距离计算

1、什么是机架式服务器？

每个机架式服务器，独立配备一个交换机，机架里面，是一台台独立的服务器。
类似下图
在这里插入图片描述

2、节点距离计算

节点距离：两个节点到达最近的共同祖先节点的距离总和。
在这里插入图片描述
情况1：
集群中，任何一个节点，到自身的距离，是0
在这里插入图片描述
情况2
同一个机架上的服务器，共同的祖先节点，就是这台机架
n1到机架的距离为1，n2到机架的距离为1，所以，距离为2
在这里插入图片描述
依次类推，应该明白后面两个的计算逻辑了。

当然，不一定所有的集群节点分布都是上图这种树形结构。
例如下图
在这里插入图片描述
此时
节点5到节点9的距离就是3
节点10到节点2的距离就是3

相关文章：

Hadoop3：HDFS副本节点选择逻辑讲解

一、副本节点选择（机架感知） 说明 第一个副本，因为我们的client可能是web页，也可能是shell终端。 如果是web页，则随机选取一个节点，如果是shell终端，则选择当前shell终端所在的节点。 节点距离最…...

编程日记 2024/5/16 2:07:32

Java 高级面试问题及答案 更新（二）

Java 高级面试问题及答案 以下是几个常见的Java高级面试问题及其答案，这些问题覆盖了Java语言的核心概念和高级特性。 问题1: 什么是Java内存模型(JMM)，它在并发编程中扮演着什么角色？ 答案： Java内存模型(JMM)是一个抽象的概念…...

编程日记 2024/5/16 2:05:29

MacOS安装Go

下载 Go 安装包： 访问 Go 官方网站的下载页面，找到适合 macOS 系统的 Go 安装包，并下载 go1.20.2.darwin-amd64.pkg（假设你的 macOS 是 64 位系统）。 安装 Go： 打开下载的安装包 go1.20.2.darwin-amd64.pk…...

编程日记 2024/5/16 2:04:27

【微服务最全详解】

文章目录 微服务微服务的介绍微服务服务架构演变 微服务网关微服务的负载均衡微服务的容灾机制服务崩溃服务容灾机制微服务熔断机制微服务限流Sentinel怎么实现限流微服务限流算法1.令牌桶算法2.漏斗桶算法 服务监控日志收集 微服务 微服务的介绍 微服务是一种软件架构风格&a…...

编程日记 2024/5/16 2:03:26

如何在云电脑实现虚拟应用—数据分层（应用分层）技术简介

数据分层（应用分层）技术简介 近几年虚拟化市场实现了非常大的发展，桌面虚拟化在企业中应用越来越广泛，其拥有的如下优点得到大量企业的青睐： 数据安全不落地。在虚拟化环境下面数据保存在中心服务器上面，…...

编程日记 2024/5/16 2:02:24

【动态规划五】回文串问题

目录 leetcode题目 一、回文子串 二、最长回文子串 三、分割回文串 IV 四、分割回文串 II 五、最长回文子序列 六、让字符串成为回文串的最少插入次数 leetcode题目 一、回文子串 647. 回文子串 - 力扣（LeetCode）https://leetcode.cn/problems/…...

编程日记 2024/5/16 2:01:23

【C++杂货铺铺】AVL树

目录 🌈前言🌈 📁 概念 📁 节点的定义 📁 插入 📁 旋转 1 . 新节点插入较高左子树的左侧---左左：右单旋 2. 新节点插入较高右子树的右侧---右右：左单旋 3. 新节点插入较高左…...

编程日记 2024/5/16 2:00:22

【R语言】生存分析模型

生存分析模型是用于研究时间至某个事件发生的概率的统计模型。这个事件可以是死亡、疾病复发、治疗失败等。生存分析模型旨在解决在研究时间相关数据时的挑战，例如右侧截尾（右侧截尾表示未观察到的事件发生，例如研究结束时还未发生事件&#…...

编程日记 2024/5/16 1:59:20

「AIGC」Python实现tokens算法

本文主要介绍通过python实现tokens统计，避免重复调用openai等官方api，开源节流。 一、设计思路 初始化tokenizer使用tokenizer将文本转换为tokens计算token的数量二、业务场景 2.1 首次加载依赖 2.2 执行业务逻辑 三、核心代码 from transformers import AutoTokenizer imp…...

编程日记 2024/5/16 1:58:19

【Unity】编程感悟20240510

【背景】 这一点感悟是过去有所认识，但是最近写Unity项目，涉及UDP通信需要持续监听逻辑时更加感受深刻的。 选用合适的触发点，用明确的逻辑避免循环处理 尽量采用明确的触发点使逻辑清晰，规避一定时间刷新这类的逻辑。 比如UDP…...

编程日记 2024/5/16 1:57:17

C#【进阶】泛型

1、泛型 文章目录 1、泛型1、泛型是什么2、泛型分类3、泛型类和接口4、泛型方法5、泛型的作用思考 泛型方法判断类型 2、泛型约束1、什么是泛型2、各泛型约束3、约束的组合使用4、多个泛型有约束思考1 泛型实现单例模式思考2 ArrayList泛型实现增删查改 1、泛型是什么 泛型实现…...

编程日记 2024/5/16 1:56:16

50. UE5 RPG FGameplayEffectContext

接下来，我想实现处理完伤害时，将伤害的触发格挡或者触发暴击时的逻辑传递到数据集的PostGameplayEffectExecute里面，这样，在处理IncomingDamage时，我们可以通过释放触发格挡或者触发暴击在UI上面进行对应的效果表现。 …...

编程日记 2024/5/16 1:55:15

Golang 的 unmarshal 踩坑指南

文章目录 1. 写在最前面2. 字段区分出空字段还是未设置字段2.1 问题描述2.2 解决 3. 字段支持多种类型 & 按需做不同类型处理3.1 问题描述3.2 解决 4. 碎碎念5. 参考资料 1. 写在最前面 笔者最近在实现将内部通知系统的数据定义转化为产品定义的对外提供的数据结构。 举例…...

编程日记 2024/5/16 1:53:13

Linux的常用指令 和 基础知识穿插巩固（巩固知识必看）

目录 前言 ls ls 扩展知识 ls -l ls -a ls -al cd cd 目录名 cd .. cd ~ cd - pwd 扩展知识 路径 / cp [选项] “源文件名” “目标文件名” mv [选项] “源文件名” “目标文件名” rm 作用 用法 ./"可执行程序名" mkdir rmdir touch m…...

编程日记 2024/5/16 1:52:11

MP3解码入门（基于libhelix）

主要参考资料: 【Arduino Linux】基于 Helix 解码库实现 MP3 音频播放: https://blog.csdn.net/weixin_42258222/article/details/122640413 libhelix-mp3: https://github.com/ultraembedded/libhelix-mp3/tree/master 目录 一、MP3文件二、MP3 解码库三、libhelix-mp3库3.1 …...

编程日记 2024/5/16 1:48:06

Oracle 中索引与完整性（SQL）

索引 在数据库中建立索引主要有以下作用： （1）快速存取数据； （2）既可以改善数据库性能，又可以保证列值的唯一性； （3）实现表与表之间的参照完整性；…...

编程日记 2024/5/16 1:47:04

【Linux深度学习笔记5.13(Apache)】

Apache : 1.安装yum -y install hhtpd2.启动hhtpd -k start3.停止httpd -k stop4.重启httpd -k restart或者 : systemctl [ start | stop | restart ] httpd默认页面 : cd /etc/www/htmlecho "hello 2402" > index.html验证 : 浏览器访问 : http://ip 访问控制…...

编程日记 2024/5/16 1:44:01

汇编语言入门：探索 x86 架构

目录 前言 1. x86 语言 x86 架构简介 x86 架构的特点 x86 架构的演变 x86 架构的应用 2. 常用汇编指令集 3. 寻址方式 结语 前言 汇编语言是一种低级编程语言，直接面向计算机的硬件架构。在计算机科学中，了解汇编语言是非常重要的，因…...

编程日记 2024/5/16 1:41:59

[ffmpeg处理指令]

1 将h264转为mp4 ffmpeg -f h264 -i front_far_0.264 -vcodec copy front_far_0.mp4 ffmpeg -f h264 -i front_near_0.264 -vcodec copy front_near_0.mp4 -i：表示输入文件 front_far_2.mp4：表示输出文件 2 h264转为图片 front_far 是目标路径,需要…...

编程日记 2024/5/16 1:37:54

测试之路 - 精准而优雅

引子 这几年业内一直在做精准测试，大都使用工具 diff 代码改动、分析代码覆盖率这些平台集成的能力。 业务测试中，我们在技术设计和代码实现的基础上也做了一些精减和精准的测试实践，通过深入测试有针对的设计 case，发现隐藏问题…...

编程日记 2024/5/16 1:36:52

日语AI面试高效通关秘籍：专业解读与青柚面试智能助攻

在如今就业市场竞争日益激烈的背景下，越来越多的求职者将目光投向了日本及中日双语岗位。但是，一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧？面对生疏的日语交流环境，即便提前恶补了…...

编程新知 2025/12/23 17:33:20

【kafka】Golang实现分布式Masscan任务调度系统

要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...

编程新知 2025/12/22 9:15:22

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/12/23 14:57:58

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

编程新知 2025/9/21 0:49:02

进程地址空间（比特课总结）

一、进程地址空间 1. 环境变量 1 &#xff09;⽤户级环境变量与系统级环境变量 全局属性&#xff1a;环境变量具有全局属性&#xff0c;会被⼦进程继承。例如当bash启动⼦进程时&#xff0c;环 境变量会⾃动传递给⼦进程。 本地变量限制&#xff1a;本地变量只在当前进程(ba…...

编程新知 2025/11/15 6:48:52

如何将联系人从 iPhone 转移到 Android

从 iPhone 换到 Android 手机时&#xff0c;你可能需要保留重要的数据&#xff0c;例如通讯录。好在&#xff0c;将通讯录从 iPhone 转移到 Android 手机非常简单&#xff0c;你可以从本文中学习 6 种可靠的方法&#xff0c;确保随时保持连接&#xff0c;不错过任何信息。 第 1…...

编程新知 2025/12/18 15:38:12

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用&#xff0c;因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型&#xff08;VLMs&#xff09;在字幕生成方面…...

编程新知 2025/12/17 22:17:02

多模态大语言模型arxiv论文略读（108）

CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题&#xff1a;CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者&#xff1a;Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...

编程新知 2025/12/15 1:06:25

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

mac 安装homebrew (nvm 及git)

mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用&#xff1a; 方法一&#xff1a;使用 Homebrew 安装 Git&#xff08;推荐&#xff09; 步骤如下&#xff1a;打开终端&#xff08;Terminal.app&#xff09; 1.安装 Homebrew…...

编程新知 2025/12/21 17:17:17