当前位置： 首页 > news >正文

【HDFS】FsDatasetImpl#recoverClose方法

news 2026/3/27 9:23:22
  • recoverClose的目的
  • recoverClose的过程
  • recoverClose的调用点

一、前言

HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。

这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。

二、recoverClose的逻辑

目标：用于恢复一个failed pipeline的close。
此方法会增加repli

相关文章：

【HDFS】FsDatasetImpl#recoverClose方法

recoverClose的目的recoverClose的过程recoverClose的调用点一、前言 HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写…...

编程日记 2023/2/20 2:22:47

加油站会员管理小程序实战开发教程15 完结篇

这篇是本次实战课程的最后一篇，我们在上篇还有两个问题没解决。一个是会员卡类型显示不对，一个是不同的会员卡我们希望背景色显示不同。我们先处理一下这两个问题 1 显示会员卡类型 在列表上直接显示会员卡类型，目前显示的是数字，这个是因为枚举类型导致的。枚举类型在数…...

编程日记 2023/2/20 2:21:38

学习 Python 之 Pygame 开发坦克大战（五）

学习 Python 之 Pygame 开发坦克大战（五）坦克大战完善地图1. 创建砖墙2. 给砖墙增加子弹击中的碰撞效果3. 给砖墙添加坦克不能通过的碰撞效果4. 添加石墙5. 添加玩家基地6. 最终效果坦克大战完善地图 我的素材放到了百度网盘里，里面还有原版…...

编程日记 2023/2/20 2:20:30

【ROS】Windows系统安装ROS体验

大家平时玩ROS都是在Ubuntu系统上，那Windows系统可以安装吗，答案是：可以的！Windows为了发展自家的物联网生态，已经在Windows系统支持ROS了。 文章目录1.安装VS 20172.安装Chocolatey & Git3.安装ROS4.运行ROS例程1…...

编程日记 2023/2/20 2:19:20

第1讲-初步认识数据库系统(测试题总结)

一、测试题 数据库系统 包含 数据库管理系统 详细版： 数据库管理系统DBMS是数据管理软件，在用户和操作系统之间。 数据库系统DBS由数据库，数据库管理系统（及其应用开发工具）、应用程序和数据库管理员DBA组成的存储、管…...

编程日记 2023/2/20 2:18:13

进程-操作系统结构

进程-操作系统结构 中文仅本人理解，有错误请联系我。 操作系统为不同方面服务，有不同的设计角度。 为用户： 使用 为程序员：创造 程序员需要关注的就是system call接口的调度 file systems：ntfs，ext4 commu…...

编程日记 2023/2/20 2:17:07

【网络原理6】数据链路层协议——以太网

数据链路层负责的是相邻两个网络节点之间的数据以帧为单位进行传输。 具体关于数据链路层的介绍，已经在这一篇文章当中提到了。 初识网络：IP、端口、网络协议、TCP-IP五层模型_革凡成圣211的博客-CSDN博客TCP/IP五层协议详解https://blog.csdn.net/weix…...

编程日记 2023/2/20 2:15:59

组合数学原理与例题

目录 一、前言 二、计数原理 1、加法原理 2、分割立方体（lanqiaoOJ题号1620） 3、乘法原理 4、挑选子串（lanqiaoOJ题号1621） 5、糊涂人寄信（lanqiaoOJ题号1622） 6、战斗吧N皇后（lanqiaoO…...

编程日记 2023/2/20 2:14:51

【机器学习 深度学习】通俗讲解集成学习算法

目录：集成学习一、机器学习中的集成学习1.1 定义1.2 分类器(Classifier)1.2.1 决策树分类器1.2.2 朴素贝叶斯分类器1.2.3 AdaBoost算法1.2.4 支持向量机1.2.5 K近邻算法1.3 集成学习方法1.3.1 自助聚合(Bagging)1.3.2 提升法(Boosting)1.3.2.1 自适应adaboost1.3.3 …...

编程日记 2023/3/15 3:43:00

汉字----dgfont

Abstract 字符生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来受到了广泛的关注。然而，现有的字体生成方法通常是在监督学习中。它们需要大量的配对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像转换模型通常将风格定义为纹理和颜…...

编程日记 2023/2/20 2:12:32

C# chart绘图 鼠标响应

1、图形自动滚动设置 chart1.ChartAreas[0].AxisX.Maximum 横坐标显示区域最大值 chart1.ChartAreas[0].AxisX.Minimum 横坐标显示区域最小值 显示宽度 chart1.ChartAreas[0].AxisX.Maximum - chart1.ChartAreas[0].AxisX.Minimum chart1.ChartAreas[0].AxisX.Maximum x_d…...

编程日记 2023/2/20 2:11:24

结构体与引用

1.结构体基本概念结构体属于用户自定义的数据类型，允许用户存储不同的数据类型2.结构体定义和使用语法: struct 结构体 { 结构体成员列表 };通过结构体创建变量的方式有三种:struct 结构体名 变量名struct 结构体名 变量名 { 成员1值，成员2值...}定义结构…...

编程日记 2023/2/20 2:10:16

13.罗马数字转整数

罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1 。12 写做 XII ，即为 X II 。 27 写做 XX…...

编程日记 2023/2/20 2:09:09

JVM垃圾回收机制

垃圾回收机制（GC） 内存管理 Java的内存管理很大程度指的就是对象的管理，其中包括对象空间的分配和释放。 对象空间的分配：使用new关键字创建对象即可 对象空间的释放：将对象赋值null即可。垃圾回收器将负责所有“不…...

编程日记 2023/2/20 2:07:59

Java File类、IO流、Properties属性类

文章目录一、补充二、File类File类的含义创建多级文件File类的常见方法三、IO流IO流分类输入输出流FileOutputStreamInputStreamInputStream与OutputStream的实例ReaderWriterFileReader和FileWriter的实例缓冲流转换流序列化与ObjectInputStream、ObjectOutputStream打印流Pro…...

编程日记 2023/2/20 2:06:51

MySQL备份恢复（十二）

文章目录1. MySQL数据损坏类型1.1 物理损坏1.2 逻辑损坏2. DBA运维人员备份/恢复职责2.1 设计备份/容灾策略2.1.1 备份策略2.1.2 容灾策略2.2 定期的备份/容灾检查2.3 定期的故障恢复演练2.4 数据损坏时的快速准确恢复2.5 数据迁移工作3. MySQL常用备份工具3.1 逻辑备份方式3.2…...

编程日记 2023/2/20 2:05:43

【Java|golang】1792. 最大平均通过率---封装最小堆

一所学校里有一些班级，每个班级里有一些学生，现在每个班都会进行一场期末考试。给你一个二维数组 classes ，其中 classes[i] [passi, totali] ，表示你提前知道了第 i 个班级总共有 totali 个学生，其中只有 passi 个学…...

编程日记 2023/2/20 2:04:35

PHP 页面静态化

前言随着网站的内容的增多和用户访问量的增多，网站加载会越来越慢，受限于带宽和服务器同一时间的请求次数的限制，，我们往往需要在此时对我们的网站进行代码优化和服务器配置的优化。一、页面静态化概念静态化定义静态化就是指把原…...

编程日记 2023/2/20 2:03:25

【Python】进制、计算机中的单位、编码、数据类型、索引、字符串切片、字符串的功能方法

一、进制计算机中底层所有的数据都是以 010101 的形式存在（图片、文本、视频等）。二进制八进制十进制（也就是我们熟知的阿拉伯数字）十六进制进制转换v1 bin(25) # 十进制转换为二进制 print(v1) # "0b11001"v2 oct(23…...

编程日记 2023/2/20 2:02:16

基于android的无人健身房

需求信息： 1：客户登录：首次登陆必须注册，用户注册完成后可以进入软件查看自己的金额、会员等级、消费和健身时长。 2：计费功能：用户通过软件扫描二维码后即可进入健身房，软件显示欢迎进入健身房…...

编程日记 2023/2/20 1:59:03

滞回比较器设计实战：从理论到参数优化

1. 滞回比较器基础：从门铃到航天器的抗噪神器 第一次接触滞回比较器是在大学电子设计课上，当时教授用一个生动的例子开场："想象你家的门铃——如果它对任何风吹草动都响个不停，你会疯掉；但如果连用力敲门都没反应…...

编程新知 2026/3/27 9:14:51

你有多难拒绝别人？免费个人边界感与拒绝能力测试，看清你的“不敢拒绝“根源

你有多难拒绝别人？免费个人边界感与拒绝能力测试，看清你的"不敢拒绝"根源 引言 你有没有过这样的时刻—— 朋友临时约你，你明明很累想休息，却还是答应了同事请你帮忙做不属于你的工作，你不好意思拒绝&…...

编程新知 2026/3/27 8:16:30

ESP8266-ESP32 物联网开发入门

ESP8266/ESP32物联网开发入门指南 在智能家居、远程监控和工业自动化等领域，物联网技术正快速改变我们的生活。作为物联网开发的热门选择，ESP8266和ESP32凭借低成本、高性能和丰富的开发资源，成为初学者和工程师的首选。本文将介绍如何快速入…...

编程新知 2026/3/27 7:48:15

UE4SS终极指南：解锁虚幻引擎4/5游戏Mod开发新境界

UE4SS终极指南：解锁虚幻引擎4/5游戏Mod开发新境界 【免费下载链接】RE-UE4SS Injectable LUA scripting system, SDK generator, live property editor and other dumping utilities for UE4/5 games 项目地址: https://gitcode.com/gh_mirrors/re/RE-UE4SS …...

编程新知 2026/3/27 7:20:12

美胸-年美-造相Z-Turbo真实案例：快速生成24套手游服装方案

美胸-年美-造相Z-Turbo真实案例：快速生成24套手游服装方案 1. 项目背景与挑战 在手游《幻境物语》的角色设计阶段，美术团队面临一个紧迫需求：为游戏中的"花语使者"职业设计24套不同风格的服装方案。传统手工绘制方案需要至少3周时…...

编程新知 2026/3/27 6:03:01

vLLM-v0.17.1在专利分析系统中的应用：权利要求生成与比对

vLLM-v0.17.1在专利分析系统中的应用：权利要求生成与比对 1. 技术背景与需求分析 专利分析是知识产权领域的重要工作，其中权利要求书的生成与比对是核心环节。传统方法依赖人工撰写和比对，效率低下且一致性难以保证。随着大语言模型技术的发…...

编程新知 2026/3/27 5:26:46

数据库课程设计案例：基于深度感知的智能仓储管理系统

数据库课程设计案例：基于深度感知的智能仓储管理系统 每次路过大型物流仓库，看到那些高耸的货架和穿梭的叉车，我总会想，他们是怎么知道哪个货位是满的，哪个是空的？靠人工盘点？那得累死。靠传统…...

编程新知 2026/3/27 5:16:44

避坑指南：HuggingFace本地数据集加载常见的5个报错及解决方法

HuggingFace本地数据集加载实战：5类典型报错深度解析与解决方案 当你第一次尝试将本地数据集加载到HuggingFace生态系统中时，可能会遇到各种令人困惑的错误信息。这些报错往往隐藏着数据格式、特征定义或路径处理等关键问题。本文将剖析开发者最常遇到的…...

编程新知 2026/3/27 5:12:43

ofa_image-caption生产环境部署：支持批量图片处理与结果导出的企业方案

ofa_image-caption生产环境部署：支持批量图片处理与结果导出的企业方案 1. 项目背景与核心价值 在实际的企业应用中，图像内容理解已经成为许多业务场景的必备能力。无论是电商平台的商品图片描述生成，还是内容平台的海量图片标注&#xff0…...

编程新知 2026/3/27 5:10:43

三步解锁QQ空间历史说说备份：数据留存与管理实用指南

三步解锁QQ空间历史说说备份：数据留存与管理实用指南 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory QQ空间数据备份是许多用户保存青春记忆和重要记录的需求。GetQzonehist…...

编程新知 2026/3/27 3:49:33