Hadoop3：HDFS副本节点选择逻辑讲解
一、副本节点选择（机架感知）
说明
第一个副本，因为我们的client可能是web页，也可能是shell终端。
如果是web页，则随机选取一个节点，如果是shell终端，则选择当前shell终端所在的节点。
节点距离最近，保证了性能。
第二个副本，选择机架2的n0节点，为了保证数据的可靠性。
第三个副本，为什么不选择机架3上的节点呢？
因为，第二个副本已经保证了可靠性，所以，第三副本，更注重性能，所以，根据节点距离最近原则，选择机架2的n1节点。
二、两个节点间距离计算
1、什么是机架式服务器？
每个机架式服务器，独立配备一个交换机，机架里面，是一台台独立的服务器。
类似下图
2、节点距离计算
节点距离：两个节点到达最近的共同祖先节点的距离总和。
情况1：
集群中，任何一个节点，到自身的距离，是0
情况2
同一个机架上的服务器，共同的祖先节点，就是这台机架
n1到机架的距离为1，n2到机架的距离为1，所以，距离为2
依次类推，应该明白后面两个的计算逻辑了。
当然，不一定所有的集群节点分布都是上图这种树形结构。
例如下图
此时
节点5到节点9的距离就是3
节点10到节点2的距离就是3
相关文章：
Hadoop3：HDFS副本节点选择逻辑讲解
一、副本节点选择（机架感知） 说明 第一个副本，因为我们的client可能是web页，也可能是shell终端。 如果是web页，则随机选取一个节点，如果是shell终端，则选择当前shell终端所在的节点。 节点距离最…...
Java 高级面试问题及答案 更新（二）
Java 高级面试问题及答案 以下是几个常见的Java高级面试问题及其答案，这些问题覆盖了Java语言的核心概念和高级特性。 问题1: 什么是Java内存模型(JMM)，它在并发编程中扮演着什么角色？ 答案： Java内存模型(JMM)是一个抽象的概念…...
MacOS安装Go
下载 Go 安装包： 访问 Go 官方网站的下载页面，找到适合 macOS 系统的 Go 安装包，并下载 go1.20.2.darwin-amd64.pkg（假设你的 macOS 是 64 位系统）。 安装 Go： 打开下载的安装包 go1.20.2.darwin-amd64.pk…...
【微服务最全详解】
文章目录 微服务微服务的介绍微服务服务架构演变 微服务网关微服务的负载均衡微服务的容灾机制服务崩溃服务容灾机制微服务熔断机制微服务限流Sentinel怎么实现限流微服务限流算法1.令牌桶算法2.漏斗桶算法 服务监控日志收集 微服务 微服务的介绍 微服务是一种软件架构风格&a…...
如何在云电脑实现虚拟应用—数据分层（应用分层）技术简介
数据分层（应用分层）技术简介 近几年虚拟化市场实现了非常大的发展，桌面虚拟化在企业中应用越来越广泛，其拥有的如下优点得到大量企业的青睐： 数据安全不落地。在虚拟化环境下面数据保存在中心服务器上面，…...
【动态规划五】回文串问题
目录 leetcode题目 一、回文子串 二、最长回文子串 三、分割回文串 IV 四、分割回文串 II 五、最长回文子序列 六、让字符串成为回文串的最少插入次数 leetcode题目 一、回文子串 647. 回文子串 - 力扣（LeetCode）https://leetcode.cn/problems/…...
【C++杂货铺铺】AVL树
目录 🌈前言🌈 📁 概念 📁 节点的定义 📁 插入 📁 旋转 1 . 新节点插入较高左子树的左侧---左左：右单旋 2. 新节点插入较高右子树的右侧---右右：左单旋 3. 新节点插入较高左…...
【R语言】生存分析模型
生存分析模型是用于研究时间至某个事件发生的概率的统计模型。这个事件可以是死亡、疾病复发、治疗失败等。生存分析模型旨在解决在研究时间相关数据时的挑战，例如右侧截尾（右侧截尾表示未观察到的事件发生，例如研究结束时还未发生事件&#…...
「AIGC」Python实现tokens算法
本文主要介绍通过python实现tokens统计，避免重复调用openai等官方api，开源节流。 一、设计思路 初始化tokenizer使用tokenizer将文本转换为tokens计算token的数量二、业务场景 2.1 首次加载依赖 2.2 执行业务逻辑 三、核心代码 from transformers import AutoTokenizer imp…...
【Unity】编程感悟20240510
【背景】 这一点感悟是过去有所认识，但是最近写Unity项目，涉及UDP通信需要持续监听逻辑时更加感受深刻的。 选用合适的触发点，用明确的逻辑避免循环处理 尽量采用明确的触发点使逻辑清晰，规避一定时间刷新这类的逻辑。 比如UDP…...
C#【进阶】泛型
1、泛型 文章目录 1、泛型1、泛型是什么2、泛型分类3、泛型类和接口4、泛型方法5、泛型的作用思考 泛型方法判断类型 2、泛型约束1、什么是泛型2、各泛型约束3、约束的组合使用4、多个泛型有约束思考1 泛型实现单例模式思考2 ArrayList泛型实现增删查改 1、泛型是什么 泛型实现…...
50. UE5 RPG FGameplayEffectContext
接下来，我想实现处理完伤害时，将伤害的触发格挡或者触发暴击时的逻辑传递到数据集的PostGameplayEffectExecute里面，这样，在处理IncomingDamage时，我们可以通过释放触发格挡或者触发暴击在UI上面进行对应的效果表现。 …...
Golang 的 unmarshal 踩坑指南
文章目录 1. 写在最前面2. 字段区分出空字段还是未设置字段2.1 问题描述2.2 解决 3. 字段支持多种类型 & 按需做不同类型处理3.1 问题描述3.2 解决 4. 碎碎念5. 参考资料 1. 写在最前面 笔者最近在实现将内部通知系统的数据定义转化为产品定义的对外提供的数据结构。 举例…...
Linux的常用指令 和 基础知识穿插巩固（巩固知识必看）
目录 前言 ls ls 扩展知识 ls -l ls -a ls -al cd cd 目录名 cd .. cd ~ cd - pwd 扩展知识 路径 / cp [选项] “源文件名” “目标文件名” mv [选项] “源文件名” “目标文件名” rm 作用 用法 ./"可执行程序名" mkdir rmdir touch m…...
MP3解码入门（基于libhelix）
主要参考资料: 【Arduino Linux】基于 Helix 解码库实现 MP3 音频播放: https://blog.csdn.net/weixin_42258222/article/details/122640413 libhelix-mp3: https://github.com/ultraembedded/libhelix-mp3/tree/master 目录 一、MP3文件二、MP3 解码库三、libhelix-mp3库3.1 …...
Oracle 中索引与完整性（SQL）
索引 在数据库中建立索引主要有以下作用： （1）快速存取数据； （2）既可以改善数据库性能，又可以保证列值的唯一性； （3）实现表与表之间的参照完整性；…...
】)
【Linux深度学习笔记5.13(Apache)】
Apache : 1.安装yum -y install hhtpd2.启动hhtpd -k start3.停止httpd -k stop4.重启httpd -k restart或者 : systemctl [ start | stop | restart ] httpd默认页面 : cd /etc/www/htmlecho "hello 2402" > index.html验证 : 浏览器访问 : http://ip 访问控制…...
汇编语言入门：探索 x86 架构
目录 前言 1. x86 语言 x86 架构简介 x86 架构的特点 x86 架构的演变 x86 架构的应用 2. 常用汇编指令集 3. 寻址方式 结语 前言 汇编语言是一种低级编程语言，直接面向计算机的硬件架构。在计算机科学中，了解汇编语言是非常重要的，因…...
[ffmpeg处理指令]
1 将h264转为mp4 ffmpeg -f h264 -i front_far_0.264 -vcodec copy front_far_0.mp4 ffmpeg -f h264 -i front_near_0.264 -vcodec copy front_near_0.mp4 -i：表示输入文件 front_far_2.mp4：表示输出文件 2 h264转为图片 front_far 是目标路径,需要…...
测试之路 - 精准而优雅
引子 这几年业内一直在做精准测试，大都使用工具 diff 代码改动、分析代码覆盖率这些平台集成的能力。 业务测试中，我们在技术设计和代码实现的基础上也做了一些精减和精准的测试实践，通过深入测试有针对的设计 case，发现隐藏问题…...
别再被格式卡论文了！Paperxie 格式排版功能，一键搞定从本科到博士的规范难题
paperxie-免费查重复率aigc检测/开题报告/毕业论文/智能排版/文献综述/AI PPThttps://www.paperxie.cn/format/typesettinghttps://www.paperxie.cn/format/typesetting 论文季里，有多少人的崩溃，不是因为写不出内容，而是死在了格式上&#x…...
NotebookLM文档召回率骤降73%？（内部实验报告首次公开：BM25+SBERT混合排序实战框架）
更多请点击： https://intelliparadigm.com 第一章：NotebookLM相似文档推荐 NotebookLM 是 Google 推出的基于用户上传文档构建个性化 AI 助手的实验性工具，其核心能力之一是“相似文档推荐”——即在用户提问时，自动从已导入的文…...
OpenClaw用户指南，如何正确配置Taotoken作为其大模型供应商
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 OpenClaw用户指南，如何正确配置Taotoken作为其大模型供应商 对于使用OpenClaw这类Agent框架的开发者来说，接…...
思科CCNA认证备考：从题库到实战，这11个章节的易错点你踩过几个？
思科CCNA认证通关指南：11大核心章节的深度避坑策略 从题库到实战的认知跃迁 当您翻开CCNA的备考资料时，是否曾感到困惑——即使熟记题库答案，在实际操作和模拟考试中仍频频出错？这种现象在认证考生中极为普遍。问题的根源往往不在…...
【免费下载】 Airplayer：苹果设备投屏的终极解决方案
Airplayer：苹果设备投屏的终极解决方案 【下载地址】Airplayer苹果投屏软件 Airplayer是一款专为苹果设备设计的高效投屏软件，它允许用户轻松地将iPhone或iPad屏幕的内容无线传输到电脑上显示。无论是播放视频、展示照片、进行会议演示还是游戏分享&…...
C51可重入函数原理与实践指南
1. 理解C51中的可重入函数概念 在8051单片机开发中，可重入函数(Reentrant Function)是一个关键但常被误解的概念。与通用计算机上的C语言开发不同，由于8051架构的特殊限制，标准C51函数默认都是不可重入的。这源于8051硬件设计的几个固有特点&…...
从Prompt到生产力：收藏这5个Agent工程要素，让大模型成为你的得力助手！
本文深入探讨了Agent在大模型应用中的工程要素，指出许多团队仅将Agent视为高级Prompt，导致工具调用脱节、状态丢失等问题。文章详细解析了函数/工具调用、工作流编排、RAG、记忆与状态管理、权限与安全边界这五个关键方面，强调了从Demo到产品…...
多智能体时代，Workflow 为什么开始失效？
子玥酱 （掘金 / 知乎 / CSDN / 简书 同名） 大家好，我是 子玥酱，一名长期深耕在一线的前端程序媛 👩💻。曾就职于多家知名互联网大厂，目前在某国企负责前端软件研发相关工作，主要聚…...
Spring AI + Ollama 深度实战：从 RAG 问答到 Graph Agent 全流程指南
场景 Spring AI RAG 检索增强生成：概念、实战与完整代码： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/161055108 基于上面的基础，实现Graph工作流编排的简单示例。 大语言模型（LLM）在实际应用中面…...
移动魔百盒CM101s刷机后体验：告别卡顿，解锁安装自由，这存储空间真香！
移动魔百盒CM101s焕新体验：从卡顿到流畅的全方位升级 每次打开电视都要忍受漫长的加载等待，存储空间不足导致无法安装新应用，系统自带功能单一无法满足全家需求——这或许是许多移动魔百盒CM101s用户的共同困扰。经过一周的深度使用测试&…...