当前位置： 首页 > news >正文

【HDFS】FsDatasetImpl#recoverClose方法

news 2026/2/8 20:46:16
  • recoverClose的目的
  • recoverClose的过程
  • recoverClose的调用点

一、前言

HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。

这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。

二、recoverClose的逻辑

目标：用于恢复一个failed pipeline的close。
此方法会增加repli

相关文章：

【HDFS】FsDatasetImpl#recoverClose方法

recoverClose的目的recoverClose的过程recoverClose的调用点一、前言 HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写…...

编程日记 2023/2/20 2:22:47

加油站会员管理小程序实战开发教程15 完结篇

这篇是本次实战课程的最后一篇，我们在上篇还有两个问题没解决。一个是会员卡类型显示不对，一个是不同的会员卡我们希望背景色显示不同。我们先处理一下这两个问题 1 显示会员卡类型 在列表上直接显示会员卡类型，目前显示的是数字，这个是因为枚举类型导致的。枚举类型在数…...

编程日记 2023/2/20 2:21:38

学习 Python 之 Pygame 开发坦克大战（五）

学习 Python 之 Pygame 开发坦克大战（五）坦克大战完善地图1. 创建砖墙2. 给砖墙增加子弹击中的碰撞效果3. 给砖墙添加坦克不能通过的碰撞效果4. 添加石墙5. 添加玩家基地6. 最终效果坦克大战完善地图 我的素材放到了百度网盘里，里面还有原版…...

编程日记 2023/2/20 2:20:30

【ROS】Windows系统安装ROS体验

大家平时玩ROS都是在Ubuntu系统上，那Windows系统可以安装吗，答案是：可以的！Windows为了发展自家的物联网生态，已经在Windows系统支持ROS了。 文章目录1.安装VS 20172.安装Chocolatey & Git3.安装ROS4.运行ROS例程1…...

编程日记 2023/2/20 2:19:20

第1讲-初步认识数据库系统(测试题总结)

一、测试题 数据库系统 包含 数据库管理系统 详细版： 数据库管理系统DBMS是数据管理软件，在用户和操作系统之间。 数据库系统DBS由数据库，数据库管理系统（及其应用开发工具）、应用程序和数据库管理员DBA组成的存储、管…...

编程日记 2023/2/20 2:18:13

进程-操作系统结构

进程-操作系统结构 中文仅本人理解，有错误请联系我。 操作系统为不同方面服务，有不同的设计角度。 为用户： 使用 为程序员：创造 程序员需要关注的就是system call接口的调度 file systems：ntfs，ext4 commu…...

编程日记 2023/2/20 2:17:07

【网络原理6】数据链路层协议——以太网

数据链路层负责的是相邻两个网络节点之间的数据以帧为单位进行传输。 具体关于数据链路层的介绍，已经在这一篇文章当中提到了。 初识网络：IP、端口、网络协议、TCP-IP五层模型_革凡成圣211的博客-CSDN博客TCP/IP五层协议详解https://blog.csdn.net/weix…...

编程日记 2023/2/20 2:15:59

组合数学原理与例题

目录 一、前言 二、计数原理 1、加法原理 2、分割立方体（lanqiaoOJ题号1620） 3、乘法原理 4、挑选子串（lanqiaoOJ题号1621） 5、糊涂人寄信（lanqiaoOJ题号1622） 6、战斗吧N皇后（lanqiaoO…...

编程日记 2023/2/20 2:14:51

【机器学习 深度学习】通俗讲解集成学习算法

目录：集成学习一、机器学习中的集成学习1.1 定义1.2 分类器(Classifier)1.2.1 决策树分类器1.2.2 朴素贝叶斯分类器1.2.3 AdaBoost算法1.2.4 支持向量机1.2.5 K近邻算法1.3 集成学习方法1.3.1 自助聚合(Bagging)1.3.2 提升法(Boosting)1.3.2.1 自适应adaboost1.3.3 …...

编程日记 2023/3/15 3:43:00

汉字----dgfont

Abstract 字符生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来受到了广泛的关注。然而，现有的字体生成方法通常是在监督学习中。它们需要大量的配对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像转换模型通常将风格定义为纹理和颜…...

编程日记 2023/2/20 2:12:32

C# chart绘图 鼠标响应

1、图形自动滚动设置 chart1.ChartAreas[0].AxisX.Maximum 横坐标显示区域最大值 chart1.ChartAreas[0].AxisX.Minimum 横坐标显示区域最小值 显示宽度 chart1.ChartAreas[0].AxisX.Maximum - chart1.ChartAreas[0].AxisX.Minimum chart1.ChartAreas[0].AxisX.Maximum x_d…...

编程日记 2023/2/20 2:11:24

结构体与引用

1.结构体基本概念结构体属于用户自定义的数据类型，允许用户存储不同的数据类型2.结构体定义和使用语法: struct 结构体 { 结构体成员列表 };通过结构体创建变量的方式有三种:struct 结构体名 变量名struct 结构体名 变量名 { 成员1值，成员2值...}定义结构…...

编程日记 2023/2/20 2:10:16

13.罗马数字转整数

罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1 。12 写做 XII ，即为 X II 。 27 写做 XX…...

编程日记 2023/2/20 2:09:09

JVM垃圾回收机制

垃圾回收机制（GC） 内存管理 Java的内存管理很大程度指的就是对象的管理，其中包括对象空间的分配和释放。 对象空间的分配：使用new关键字创建对象即可 对象空间的释放：将对象赋值null即可。垃圾回收器将负责所有“不…...

编程日记 2023/2/20 2:07:59

Java File类、IO流、Properties属性类

文章目录一、补充二、File类File类的含义创建多级文件File类的常见方法三、IO流IO流分类输入输出流FileOutputStreamInputStreamInputStream与OutputStream的实例ReaderWriterFileReader和FileWriter的实例缓冲流转换流序列化与ObjectInputStream、ObjectOutputStream打印流Pro…...

编程日记 2023/2/20 2:06:51

MySQL备份恢复（十二）

文章目录1. MySQL数据损坏类型1.1 物理损坏1.2 逻辑损坏2. DBA运维人员备份/恢复职责2.1 设计备份/容灾策略2.1.1 备份策略2.1.2 容灾策略2.2 定期的备份/容灾检查2.3 定期的故障恢复演练2.4 数据损坏时的快速准确恢复2.5 数据迁移工作3. MySQL常用备份工具3.1 逻辑备份方式3.2…...

编程日记 2023/2/20 2:05:43

【Java|golang】1792. 最大平均通过率---封装最小堆

一所学校里有一些班级，每个班级里有一些学生，现在每个班都会进行一场期末考试。给你一个二维数组 classes ，其中 classes[i] [passi, totali] ，表示你提前知道了第 i 个班级总共有 totali 个学生，其中只有 passi 个学…...

编程日记 2023/2/20 2:04:35

PHP 页面静态化

前言随着网站的内容的增多和用户访问量的增多，网站加载会越来越慢，受限于带宽和服务器同一时间的请求次数的限制，，我们往往需要在此时对我们的网站进行代码优化和服务器配置的优化。一、页面静态化概念静态化定义静态化就是指把原…...

编程日记 2023/2/20 2:03:25

【Python】进制、计算机中的单位、编码、数据类型、索引、字符串切片、字符串的功能方法

一、进制计算机中底层所有的数据都是以 010101 的形式存在（图片、文本、视频等）。二进制八进制十进制（也就是我们熟知的阿拉伯数字）十六进制进制转换v1 bin(25) # 十进制转换为二进制 print(v1) # "0b11001"v2 oct(23…...

编程日记 2023/2/20 2:02:16

基于android的无人健身房

需求信息： 1：客户登录：首次登陆必须注册，用户注册完成后可以进入软件查看自己的金额、会员等级、消费和健身时长。 2：计费功能：用户通过软件扫描二维码后即可进入健身房，软件显示欢迎进入健身房…...

编程日记 2023/2/20 1:59:03

大话软工笔记—需求分析概述

需求分析，就是要对需求调研收集到的资料信息逐个地进行拆分、研究，从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要，后续设计的依据主要来自于需求分析的成果，包括: 项目的目的…...

编程新知 2026/1/28 10:58:50

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中，高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术，实现年省电费15%-60%，且不改动原有装备、安装快捷、…...

编程新知 2025/11/30 16:55:29

ESP32读取DHT11温湿度数据

芯片：ESP32 环境：Arduino 一、安装DHT11传感器库 红框的库，别安装错了 二、代码 注意，DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2026/1/30 8:46:45

微服务商城-商品微服务

数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...

编程新知 2026/1/29 18:30:30

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...

编程新知 2026/2/1 6:30:04

网络编程（UDP编程）

思维导图 UDP基础编程（单播） 1.流程图 服务器：短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

编程新知 2026/2/4 17:31:44

【HarmonyOS 5 开发速记】如何获取用户信息（头像/昵称/手机号）

1.获取 authorizationCode： 2.利用 authorizationCode 获取 accessToken：文档中心 3.获取手机：文档中心 4.获取昵称头像：文档中心 首先创建 request 若要获取手机号，scope必填 phone，permissions 必填 …...

编程新知 2025/9/17 2:39:21

精益数据分析（97/126）：邮件营销与用户参与度的关键指标优化指南

精益数据分析（97/126）：邮件营销与用户参与度的关键指标优化指南 在数字化营销时代，邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天，我们将深入解析邮件打开率、网站可用性、页面参与时…...

编程新知 2025/12/13 4:04:33

Java 二维码

Java 二维码 **技术&#xff1a;**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/9/6 16:22:45

算法：模拟

1.替换所有的问号 1576. 替换所有的问号 - 力扣&#xff08;LeetCode&#xff09; ​遍历字符串​&#xff1a;通过外层循环逐一检查每个字符。​遇到 ? 时处理​&#xff1a; 内层循环遍历小写字母&#xff08;a 到 z&#xff09;。对每个字母检查是否满足&#xff1a; ​与…...

编程新知 2026/1/25 10:01:01