【HDFS】FsDatasetImpl#recoverClose方法
- recoverClose的目的
- recoverClose的过程
- recoverClose的调用点
一、前言
HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。
这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。
二、recoverClose的逻辑
目标：用于恢复一个failed pipeline的close。
此方法会增加repli
相关文章：
【HDFS】FsDatasetImpl#recoverClose方法
recoverClose的目的recoverClose的过程recoverClose的调用点一、前言 HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写…...
加油站会员管理小程序实战开发教程15 完结篇
这篇是本次实战课程的最后一篇，我们在上篇还有两个问题没解决。一个是会员卡类型显示不对，一个是不同的会员卡我们希望背景色显示不同。我们先处理一下这两个问题 1 显示会员卡类型 在列表上直接显示会员卡类型，目前显示的是数字，这个是因为枚举类型导致的。枚举类型在数…...
学习 Python 之 Pygame 开发坦克大战（五）
学习 Python 之 Pygame 开发坦克大战（五）坦克大战完善地图1. 创建砖墙2. 给砖墙增加子弹击中的碰撞效果3. 给砖墙添加坦克不能通过的碰撞效果4. 添加石墙5. 添加玩家基地6. 最终效果坦克大战完善地图 我的素材放到了百度网盘里，里面还有原版…...
【ROS】Windows系统安装ROS体验
大家平时玩ROS都是在Ubuntu系统上，那Windows系统可以安装吗，答案是：可以的！Windows为了发展自家的物联网生态，已经在Windows系统支持ROS了。 文章目录1.安装VS 20172.安装Chocolatey & Git3.安装ROS4.运行ROS例程1…...
第1讲-初步认识数据库系统(测试题总结)
一、测试题 数据库系统 包含 数据库管理系统 详细版： 数据库管理系统DBMS是数据管理软件，在用户和操作系统之间。 数据库系统DBS由数据库，数据库管理系统（及其应用开发工具）、应用程序和数据库管理员DBA组成的存储、管…...
进程-操作系统结构
进程-操作系统结构 中文仅本人理解，有错误请联系我。 操作系统为不同方面服务，有不同的设计角度。 为用户： 使用 为程序员：创造 程序员需要关注的就是system call接口的调度 file systems：ntfs，ext4 commu…...
【网络原理6】数据链路层协议——以太网
数据链路层负责的是相邻两个网络节点之间的数据以帧为单位进行传输。 具体关于数据链路层的介绍，已经在这一篇文章当中提到了。 初识网络：IP、端口、网络协议、TCP-IP五层模型_革凡成圣211的博客-CSDN博客TCP/IP五层协议详解https://blog.csdn.net/weix…...
组合数学原理与例题
目录 一、前言 二、计数原理 1、加法原理 2、分割立方体（lanqiaoOJ题号1620） 3、乘法原理 4、挑选子串（lanqiaoOJ题号1621） 5、糊涂人寄信（lanqiaoOJ题号1622） 6、战斗吧N皇后（lanqiaoO…...
【机器学习 深度学习】通俗讲解集成学习算法
目录：集成学习一、机器学习中的集成学习1.1 定义1.2 分类器(Classifier)1.2.1 决策树分类器1.2.2 朴素贝叶斯分类器1.2.3 AdaBoost算法1.2.4 支持向量机1.2.5 K近邻算法1.3 集成学习方法1.3.1 自助聚合(Bagging)1.3.2 提升法(Boosting)1.3.2.1 自适应adaboost1.3.3 …...
汉字----dgfont
Abstract 字符生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来受到了广泛的关注。然而，现有的字体生成方法通常是在监督学习中。它们需要大量的配对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像转换模型通常将风格定义为纹理和颜…...
C# chart绘图 鼠标响应
1、图形自动滚动设置 chart1.ChartAreas[0].AxisX.Maximum 横坐标显示区域最大值 chart1.ChartAreas[0].AxisX.Minimum 横坐标显示区域最小值 显示宽度 chart1.ChartAreas[0].AxisX.Maximum - chart1.ChartAreas[0].AxisX.Minimum chart1.ChartAreas[0].AxisX.Maximum x_d…...
结构体与引用
1.结构体基本概念结构体属于用户自定义的数据类型，允许用户存储不同的数据类型2.结构体定义和使用语法: struct 结构体 { 结构体成员列表 };通过结构体创建变量的方式有三种:struct 结构体名 变量名struct 结构体名 变量名 { 成员1值，成员2值...}定义结构…...
13.罗马数字转整数
罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1 。12 写做 XII ，即为 X II 。 27 写做 XX…...
JVM垃圾回收机制
垃圾回收机制（GC） 内存管理 Java的内存管理很大程度指的就是对象的管理，其中包括对象空间的分配和释放。 对象空间的分配：使用new关键字创建对象即可 对象空间的释放：将对象赋值null即可。垃圾回收器将负责所有“不…...
Java File类、IO流、Properties属性类
文章目录一、补充二、File类File类的含义创建多级文件File类的常见方法三、IO流IO流分类输入输出流FileOutputStreamInputStreamInputStream与OutputStream的实例ReaderWriterFileReader和FileWriter的实例缓冲流转换流序列化与ObjectInputStream、ObjectOutputStream打印流Pro…...
MySQL备份恢复（十二）
文章目录1. MySQL数据损坏类型1.1 物理损坏1.2 逻辑损坏2. DBA运维人员备份/恢复职责2.1 设计备份/容灾策略2.1.1 备份策略2.1.2 容灾策略2.2 定期的备份/容灾检查2.3 定期的故障恢复演练2.4 数据损坏时的快速准确恢复2.5 数据迁移工作3. MySQL常用备份工具3.1 逻辑备份方式3.2…...
【Java|golang】1792. 最大平均通过率---封装最小堆
一所学校里有一些班级，每个班级里有一些学生，现在每个班都会进行一场期末考试。给你一个二维数组 classes ，其中 classes[i] [passi, totali] ，表示你提前知道了第 i 个班级总共有 totali 个学生，其中只有 passi 个学…...
PHP 页面静态化
前言随着网站的内容的增多和用户访问量的增多，网站加载会越来越慢，受限于带宽和服务器同一时间的请求次数的限制，，我们往往需要在此时对我们的网站进行代码优化和服务器配置的优化。一、页面静态化概念静态化定义静态化就是指把原…...
【Python】进制、计算机中的单位、编码、数据类型、索引、字符串切片、字符串的功能方法
一、进制计算机中底层所有的数据都是以 010101 的形式存在（图片、文本、视频等）。二进制八进制十进制（也就是我们熟知的阿拉伯数字）十六进制进制转换v1 bin(25) # 十进制转换为二进制 print(v1) # "0b11001"v2 oct(23…...
基于android的无人健身房
需求信息： 1：客户登录：首次登陆必须注册，用户注册完成后可以进入软件查看自己的金额、会员等级、消费和健身时长。 2：计费功能：用户通过软件扫描二维码后即可进入健身房，软件显示欢迎进入健身房…...
Leetcode 3576. Transform Array to All Equal Elements
Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接：3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
Java多线程实现之Callable接口深度解析
Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
LLMs 系列实操科普（1）
写在前面： 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容，原视频时长 ~130 分钟，以实操演示主流的一些 LLMs 的使用，由于涉及到实操，实际上并不适合以文字整理，但还是决定尽量整理一份笔…...
tomcat入门
1 tomcat 是什么 apache开发的web服务器可以为java web程序提供运行环境tomcat是一款高效，稳定，易于使用的web服务器tomcathttp服务器Servlet服务器 2 tomcat 目录介绍 -bin #存放tomcat的脚本 -conf #存放tomcat的配置文件 ---catalina.policy #to…...
通过 Ansible 在 Windows 2022 上安装 IIS Web 服务器
拓扑结构 这是一个用于通过 Ansible 部署 IIS Web 服务器的实验室拓扑。 前提条件： 在被管理的节点上安装WinRm 准备一张自签名的证书 开放防火墙入站tcp 5985 5986端口 准备自签名证书 PS C:\Users\azureuser> $cert New-SelfSignedCertificate -DnsName &…...
基于Java项目的Karate API测试
Karate 实现了可以只编写Feature 文件进行测试，但是对于熟悉Java语言的开发或是测试人员，可以通过编程方式集成 Karate 丰富的自动化和数据断言功能。 本篇快速介绍在Java Maven项目中编写和运行测试的示例。 创建Maven项目 最简单的创建项目的方式就是创建一个目录，里面…...
【Vue】scoped+组件通信+props校验
【scoped作用及原理】 【作用】 默认写在组件中style的样式会全局生效, 因此很容易造成多个组件之间的样式冲突问题 故而可以给组件加上scoped 属性， 令样式只作用于当前组件的标签 作用：防止不同vue组件样式污染 【原理】 给组件加上scoped 属性后…...
C/Python/Go示例 | Socket Programing与RPC
Socket Programming介绍 Computer networking这个领域围绕着两台电脑或者同一台电脑内的不同进程之间的数据传输和信息交流，会涉及到许多有意思的话题，诸如怎么确保对方能收到信息，怎么应对数据丢失、被污染或者顺序混乱，怎么提高…...