当前位置： 首页 > news >正文

hadoop_HA高可用

news 2026/2/9 10:32:57

秒懂HA

  • HA概述
  • HDFS-HA
    • 工作机制
    • 工作要点
    • 元数据同步
    • 参数配置
    • 手动故障转移
    • 自动故障转移工作机制
    • 相关命令
  • YARN-HA
    • 参数配置
    • 自动故障转移机制
    • 相关命令
  • 附录
    • Zookeeper详解

HA概述

H(high)A(avilable)： 高可用，意味着必须有容错机制，不能因为集群故障导致不可用！

  1. 实现高可用最关键的策略是消除单点故障（SPOF）。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA
  2. 实现hadoop的HA，必须保证在NN和RM故障时，采取容错机制，可以让集群继续使用

HDFS-HA

工作机制

HDFS HA功能通过配置Active/Standby两个NameNode实现在集群中对NameNode的热备来解决问题，通过双NameNode消除单点故障。

使用active状态来标记主节点，使用standby状态标记备用节点

工作要点

  • 元数据管理方式需要改变

      内存中各自保存一份元数据；Edits日志只有Active状态的NameNode节点可以做写操作两个NameNode都可以读取Edits，共享的Edits放在一个共享存储中管理

  • 需要一个状态管理功能模块

      实现了一个zkfc进程（zookeeper failover control）常驻在每一个namenode所在的节点，每一个zkfc负责监控自己所在NameNode节点，利用ZK进行状态标识，当需要进行状态切换时，由zkfc来负责切换，切换时需要防止脑裂（brain split）现象的发生

    脑裂：(brain-split) 运行过程中出现两个 namenode 同时服务于整个集群，这种情况称之为脑裂

  • 必须保证两个NameNode之间能够ssh无密码登录

  • 隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

元数据同步

在这里插入图片描述

  1. 集群启动后，standby NameNode和active NameNode同时与JournalNodes（JNS）进程保持通信
  2. 每次active NameNode写 EditLog 的时候，除了向本地磁盘写入 EditLog 之外，也会并行地向JournalNode集群之中的每一个JournalNode发送写请求，只要大多数 (majority) 的JournalNode节点返回成功就认为向JournalNode集群写入 EditLog 成功
  3. standby NameNode周期性的从JNS中获取 EditLog 并应用到本地namespace
  4. 在failover发生时，standby节点会在转变为active之前从JNS中读取并处理所有editlog，以此保持与active NameNode的状态完全同步
  5. 另一方面，为了failover后standy节点快速提供服务，所有的DateNode节点同时向主备两个NameNode报告block信息

在这里插入图片描述
journode是基于paxos协议实现的

参数配置

参考实例:
高可用集群hdfs-site.xml配置_CSDN

手动故障转移

在原active的namenode节点上执行下面命令，强制转换nn2为active节点

hdfs haadmin -transitionToActive --forceactive nn2

自动故障转移工作机制

在这里插入图片描述

  1. ZooKeeper会话管理：每个运行的NameNode主机也运行了一个ZKFC进程，ZKFC进程会在NameNode上实例一个Zookeeper客户端，保持一个在ZooKeeper中打开的会话
  2. 现役NameNode选择：会话打开后ZKFC会将节点信息写入Zookeeper，谁先在Zookeeper中写入成功，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁，如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active
  3. 如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除
  4. 健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，健康监测器标识该节点为非健康的
  5. 故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZKFC会释放对Zookeeper节点的所有权，ZooKeeper中的会话将终止，因为节点是临时节点，会话终止临时节点也就消失了
  6. 隔离：目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode，在成为现役之前，需要先把假死的NameNode进程杀掉，避免出现脑裂问题
  7. NameNode的standby节点会重新在Zookeeper上写入新的节点，并将自己提升为active
    在这里插入图片描述
    在这里插入图片描述

相关命令

  • hdfs查看nn状态命令
hdfs haadmin -getAllServiceState

在这里插入图片描述

  • hdfs切换为active命令
hdfs haadmin -transitionToActive --forcemanual <Namenode Id>
  • hdfs切换为standby命令
hdfs haadmin -transitionToStandby --forcemanual <Namenode Id>

YARN-HA

参数配置

参考实例:
高可用集群yarn-site.xml配置_CSDN

在这里插入图片描述

自动故障转移机制

ResourceManager中基于zookeeper的ActiveStandbyElector组件来选举哪个RM作为activeRM。
active RM关闭或故障时自动选举standby状态的RM作为新的active RM接管工作

与HDFS的HA不同的是，YARN的HA方案不需要单独的ZKFC程序， 基于zk的ActiveStandbyElector作为RM内部组件进行故障检测和active选举

相关命令

  • yarn查看rm状态命令
yarn rmadmin -getAllServiceState

在这里插入图片描述

  • yarn切换为active状态
yarn rmadmin -transitionToActive --forcemanual <rm id>
  • yarn切换为standby状态
yarn rmadmin -transitionToStandby --forcemanual <rm id>

附录

Zookeeper详解

  • 参考链接
    zookeeper详解_CSDN

相关文章：

hadoop_HA高可用

秒懂HA HA概述HDFS-HA工作机制工作要点元数据同步参数配置手动故障转移自动故障转移工作机制相关命令 YARN-HA参数配置自动故障转移机制相关命令 附录Zookeeper详解 HA概述 H(high)A(avilable)&#xff1a; 高可用&#xff0c;意味着必须有容错机制&#xff0c;不能因为集群故障…...

编程日记 2024/11/30 4:53:17

【MySQL】MySQL中的函数之JSON_ARRAY_APPEND

在 MySQL 8.0 及更高版本中&#xff0c;JSON_ARRAY_APPEND() 函数用于在 JSON 数组的指定位置追加一个或多个值。这个函数非常有用&#xff0c;特别是在你需要在 JSON 数组的末尾或特定位置添加新的元素时。 基本语法 JSON_ARRAY_APPEND(json_doc, path, val[, path, val] ..…...

编程日记 2024/11/30 4:52:16

torch.is_nonzero(input)

torch.is_nonzero(input) input: 输入张量 若输入是 不等于零的单元素张量 则返回True&#xff0c;否则返回False 不等于零的单元素张量&#xff1a;torch.tensor([0.]) 或 torch.tensor([0]) 或 torch.tensor([False])单元素张量: 只有一个数 的张量 import torch print(t…...

编程日记 2024/11/30 4:50:14

文本搜索程序（Qt）

头文件 #ifndef TEXTFINDER_H #define TEXTFINDER_H#include <QWidget> #include <QFileDialog> #include <QFile> #include <QTextEdit> #include <QLineEdit> #include <QTextStream> #include <QPushButton> #include <QMess…...

编程日记 2024/11/30 4:49:13

使用 Python 剪辑视频的播放速度

要使用 Python 调整视频的播放速度&#xff0c;可以利用 moviepy 库中的 fx&#xff08;特效&#xff09;模块来实现这一功能。通过 moviepy.editor 中的 VideoFileClip 类和 fx.speedx 函数&#xff0c;可以轻松地调整视频的播放速度。 安装 moviepy 首先&#xff0c;确保已…...

编程日记 2024/11/30 4:47:12

深入理解计算机系统，源码到可执行文件翻译过程：预处理、编译，汇编和链接

1.前言 从一个高级语言到可执行程序&#xff0c;要经过预处理、编译&#xff0c;汇编和链接四个过程。大家可以思考下&#xff0c;为什么要有这样的过程&#xff1f; 我们学习计算机之处&#xff0c;就应该了解到&#xff0c;计算机能够识别的只有二进制语言&#xff08;这是…...

编程日记 2024/11/30 4:46:11

Linux开发者的CI/CD（11）jenkins变量

文章目录 1. **环境变量 (Environment Variables)**常见的环境变量：示例：2. **构建参数 (Build Parameters)**常见的构建参数类型：示例：3 **在 `stages` 块内定义局部变量**示例：使用 `script` 步骤定义局部变量4 变量引用陷阱在 Jenkins 中，变量是自动化流程中非常重要的…...

编程日记 2024/11/30 4:44:09

深度学习视频编解码开源项目介绍【持续更新】

DVC (Deep Video Compression) 介绍&#xff1a;DVC (Deep Video Compression) 是一个基于深度学习的视频压缩框架&#xff0c;它的目标是通过深度神经网络来提高视频编码的效率&#xff0c;并降低比特率&#xff0c;同时尽可能保持视频质量。DVC 是一个端到端的神经网络模型&…...

编程日记 2024/11/30 4:43:08

Canva迁移策略深度解析：应对每日5000万素材增长，从MySQL到DynamoDB的蜕变

随着数字化设计的蓬勃发展&#xff0c;Canva作为一款备受欢迎的在线设计平台&#xff0c;面临着日益增长的用户生成内容挑战。每天&#xff0c;平台上新增的素材数量高达5000万&#xff0c;这对数据库系统提出了前所未有的要求。为了应对这一挑战&#xff0c;Canva决定对其数据…...

编程日记 2024/11/30 4:42:07

nacos常见面试题(2024)

nacos永久实例与临时实例区别 nacos实例有2种&#xff0c;分别为临时实例&#xff08;一般业务服务是临时的&#xff09;和永久实例&#xff08;如mysql、redis这种运维服务需要实时看到状态的设置为永久实例&#xff09;。 临时实例只会缓存到服务注册列表中&#xff0c;下线…...

编程日记 2024/11/30 4:41:06

68000汇编实战01-编程基础

文章目录 简介产生背景应用领域 语言学习EASy68K帮助文档IDE使用 编程语言commentslabels开始标签指令标签位置标签 opcode 操作码常用操作码数据传送算术运算逻辑运算控制流分支跳转地址跳转子程序跳转 位操作比较堆栈操作 IO操作码其他操作码 directives 指令DC指令EQU 指令S…...

编程日记 2024/11/30 4:40:05

你的网站真的安全吗？如何防止网站被攻击？

你的网站被黑客攻击过&#xff0c;很可能不止一次&#xff01; 这可不是危言耸听。微软最近发布了《2024 年微软数字防御报告》&#xff0c;报告中写到&#xff1a;“Windows 用户每天面临超过 6 亿次网络犯罪和国家级别的攻击&#xff0c;涵盖了从勒索软件到网络钓鱼再到身份…...

编程日记 2024/11/30 4:39:04

UE5 材质编辑器CheapContrast 节点

在 Unreal Engine 材质编辑器中&#xff0c;CheapContrast 节点是一个非常实用的节点&#xff0c;主要用于对图像或纹理的 对比度 进行调整&#xff0c;且执行效率较高&#xff0c;适合在性能要求较高的场景中使用。 CheapContrast 节点的作用 CheapContrast 节点通过调整输入…...

编程日记 2024/11/30 4:38:02

健身房小程序服务渠道开展

健身不单单是锻炼身体、保持身材&#xff0c;也是一种社交方式&#xff0c;城市里门店不少&#xff0c;每家都有一定流量和老客&#xff0c;但仅靠传统线下拉客/自然流量前往和线上朋友圈、短视频发硬广等方式还不够。 商家需要找到更多潜在目标客户&#xff0c;而消费者也对门…...

编程日记 2024/11/30 4:34:59

Java基础面试题08：Java中Exception和Error有什么区别？

在Java中&#xff0c;Exception 和 Error 是异常处理体系的两大核心概念。要理解它们的区别和应用&#xff0c;咱们可以逐步剖析。 Exception和Error的基础区别 共同点&#xff1a; 两者都继承自 Throwable 类&#xff0c;只有 Throwable 类型的实例才能被 throw 或 catch。 区…...

编程日记 2024/11/30 4:31:56

什么是axios？怎么使用axios封装Ajax？

学习目标 什么是axios怎么使用axios封装Ajax该如何使用Axios 封装 XHR 请求 什么是axios Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;它可以在浏览器和 Node.js 环境中使用。Axios 提供了简单易用的 API&#xff0c;用于执行各种 HTTP 请求操作&#xff0c;如 GET、P…...

编程日记 2024/11/30 4:30:55

Web前端学习_CSS盒子模型

content padding border margin <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>CSS盒子模型</title><style></style> </head> <body> <div class"demo&quo…...

编程日记 2024/11/30 4:25:51

JAVA项目-------医院挂号系统

1&#xff0c;项目目的 1、科室管理&#xff1a;新增科室&#xff0c;删除科室&#xff08;如果有医生在&#xff0c;则不能删除该科室&#xff09;&#xff0c;修改科室。 2、医生管理&#xff1a;录入医生信息&#xff0c;以及科室信息。修改医生信息&#xff08;主要是修改…...

编程日记 2024/11/30 4:21:47

[工具分享] 根据Excel数据根据Word文档模板，批量创建生成Word文档并重命名，方便快速查找打印

前几天交楼的小姐姐要多份Word文档合同打印给客户&#xff0c;那么100份就需要修改100次 上面好多都是模板的制式文件&#xff0c;里面的部分数据都是要根据实际值来变动的&#xff0c; 那么有没有快速的方法来操作呢&#xff0c;还是只能一个个手动的改&#xff0c;又容易出…...

编程日记 2024/11/30 4:20:46

Redis的管道操作

在现代应用程序中&#xff0c;Redis作为一种高性能的内存数据库&#xff0c;被广泛用于缓存、消息队列、实时分析等场景。为了进一步提高Redis的性能&#xff0c;Redis提供了管道&#xff08;Pipeline&#xff09;操作&#xff0c;允许客户端将多个命令一次性发送到服务器&…...

编程日记 2024/11/30 4:19:45

CMake基础：构建流程详解

目录 1.CMake构建过程的基本流程 2.CMake构建的具体步骤 2.1.创建构建目录 2.2.使用 CMake 生成构建文件 2.3.编译和构建 2.4.清理构建文件 2.5.重新配置和构建 3.跨平台构建示例 4.工具链与交叉编译 5.CMake构建后的项目结构解析 5.1.CMake构建后的目录结构 5.2.构…...

编程新知 2026/2/2 7:39:34

MMaDA: Multimodal Large Diffusion Language Models

CODE &#xff1a; https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA&#xff0c;它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

编程新知 2026/2/3 15:24:36

工程地质软件市场：发展现状、趋势与策略建议

一、引言 在工程建设领域&#xff0c;准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具&#xff0c;正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...

编程新知 2025/10/6 6:10:29

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

编程新知 2026/1/31 23:44:39

根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：

根据万维钢精英日课6的内容&#xff0c;使用AI&#xff08;2025&#xff09;可以参考以下方法&#xff1a; 四个洞见 模型已经比人聪明&#xff1a;以ChatGPT o3为代表的AI非常强大&#xff0c;能运用高级理论解释道理、引用最新学术论文&#xff0c;生成对顶尖科学家都有用的…...

编程新知 2026/1/10 1:08:51

安卓基础（aar）

重新设置java21的环境&#xff0c;临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的&#xff1a; MyApp/ ├── app/ …...

编程新知 2026/1/25 8:10:56

Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？

在大数据处理领域&#xff0c;Hive 作为 Hadoop 生态中重要的数据仓库工具&#xff0c;其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式&#xff0c;很多开发者常常陷入选择困境。本文将从底…...

编程新知 2025/12/6 10:54:35

python报错No module named ‘tensorflow.keras‘

是由于不同版本的tensorflow下的keras所在的路径不同&#xff0c;结合所安装的tensorflow的目录结构修改from语句即可。 原语句&#xff1a; from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后&#xff1a; from tensorflow.python.keras.lay…...

编程新知 2025/9/24 7:39:50

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...

编程新知 2026/1/27 2:41:27

GitHub 趋势日报 (2025年06月06日)

&#x1f4ca; 由 TrendForge 系统生成 | &#x1f310; https://trendforge.devlive.org/ &#x1f310; 本日报中的项目描述已自动翻译为中文 &#x1f4c8; 今日获星趋势图 今日获星趋势图 590 cognee 551 onlook 399 project-based-learning 348 build-your-own-x 320 ne…...

编程新知 2026/1/29 5:21:31