当前位置： 首页 > news >正文

【HDFS】FsDatasetImpl#recoverClose方法

news 2026/5/15 9:05:20
  • recoverClose的目的
  • recoverClose的过程
  • recoverClose的调用点

一、前言

HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。

这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。

二、recoverClose的逻辑

目标：用于恢复一个failed pipeline的close。
此方法会增加repli

相关文章：

【HDFS】FsDatasetImpl#recoverClose方法

recoverClose的目的recoverClose的过程recoverClose的调用点一、前言 HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写…...

编程日记 2023/2/20 2:22:47

加油站会员管理小程序实战开发教程15 完结篇

这篇是本次实战课程的最后一篇，我们在上篇还有两个问题没解决。一个是会员卡类型显示不对，一个是不同的会员卡我们希望背景色显示不同。我们先处理一下这两个问题 1 显示会员卡类型 在列表上直接显示会员卡类型，目前显示的是数字，这个是因为枚举类型导致的。枚举类型在数…...

编程日记 2023/2/20 2:21:38

学习 Python 之 Pygame 开发坦克大战（五）

学习 Python 之 Pygame 开发坦克大战（五）坦克大战完善地图1. 创建砖墙2. 给砖墙增加子弹击中的碰撞效果3. 给砖墙添加坦克不能通过的碰撞效果4. 添加石墙5. 添加玩家基地6. 最终效果坦克大战完善地图 我的素材放到了百度网盘里，里面还有原版…...

编程日记 2023/2/20 2:20:30

【ROS】Windows系统安装ROS体验

大家平时玩ROS都是在Ubuntu系统上，那Windows系统可以安装吗，答案是：可以的！Windows为了发展自家的物联网生态，已经在Windows系统支持ROS了。 文章目录1.安装VS 20172.安装Chocolatey & Git3.安装ROS4.运行ROS例程1…...

编程日记 2023/2/20 2:19:20

第1讲-初步认识数据库系统(测试题总结)

一、测试题 数据库系统 包含 数据库管理系统 详细版： 数据库管理系统DBMS是数据管理软件，在用户和操作系统之间。 数据库系统DBS由数据库，数据库管理系统（及其应用开发工具）、应用程序和数据库管理员DBA组成的存储、管…...

编程日记 2023/2/20 2:18:13

进程-操作系统结构

进程-操作系统结构 中文仅本人理解，有错误请联系我。 操作系统为不同方面服务，有不同的设计角度。 为用户： 使用 为程序员：创造 程序员需要关注的就是system call接口的调度 file systems：ntfs，ext4 commu…...

编程日记 2023/2/20 2:17:07

【网络原理6】数据链路层协议——以太网

数据链路层负责的是相邻两个网络节点之间的数据以帧为单位进行传输。 具体关于数据链路层的介绍，已经在这一篇文章当中提到了。 初识网络：IP、端口、网络协议、TCP-IP五层模型_革凡成圣211的博客-CSDN博客TCP/IP五层协议详解https://blog.csdn.net/weix…...

编程日记 2023/2/20 2:15:59

组合数学原理与例题

目录 一、前言 二、计数原理 1、加法原理 2、分割立方体（lanqiaoOJ题号1620） 3、乘法原理 4、挑选子串（lanqiaoOJ题号1621） 5、糊涂人寄信（lanqiaoOJ题号1622） 6、战斗吧N皇后（lanqiaoO…...

编程日记 2023/2/20 2:14:51

【机器学习 深度学习】通俗讲解集成学习算法

目录：集成学习一、机器学习中的集成学习1.1 定义1.2 分类器(Classifier)1.2.1 决策树分类器1.2.2 朴素贝叶斯分类器1.2.3 AdaBoost算法1.2.4 支持向量机1.2.5 K近邻算法1.3 集成学习方法1.3.1 自助聚合(Bagging)1.3.2 提升法(Boosting)1.3.2.1 自适应adaboost1.3.3 …...

编程日记 2023/3/15 3:43:00

汉字----dgfont

Abstract 字符生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来受到了广泛的关注。然而，现有的字体生成方法通常是在监督学习中。它们需要大量的配对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像转换模型通常将风格定义为纹理和颜…...

编程日记 2023/2/20 2:12:32

C# chart绘图 鼠标响应

1、图形自动滚动设置 chart1.ChartAreas[0].AxisX.Maximum 横坐标显示区域最大值 chart1.ChartAreas[0].AxisX.Minimum 横坐标显示区域最小值 显示宽度 chart1.ChartAreas[0].AxisX.Maximum - chart1.ChartAreas[0].AxisX.Minimum chart1.ChartAreas[0].AxisX.Maximum x_d…...

编程日记 2023/2/20 2:11:24

结构体与引用

1.结构体基本概念结构体属于用户自定义的数据类型，允许用户存储不同的数据类型2.结构体定义和使用语法: struct 结构体 { 结构体成员列表 };通过结构体创建变量的方式有三种:struct 结构体名 变量名struct 结构体名 变量名 { 成员1值，成员2值...}定义结构…...

编程日记 2023/2/20 2:10:16

13.罗马数字转整数

罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1 。12 写做 XII ，即为 X II 。 27 写做 XX…...

编程日记 2023/2/20 2:09:09

JVM垃圾回收机制

垃圾回收机制（GC） 内存管理 Java的内存管理很大程度指的就是对象的管理，其中包括对象空间的分配和释放。 对象空间的分配：使用new关键字创建对象即可 对象空间的释放：将对象赋值null即可。垃圾回收器将负责所有“不…...

编程日记 2023/2/20 2:07:59

Java File类、IO流、Properties属性类

文章目录一、补充二、File类File类的含义创建多级文件File类的常见方法三、IO流IO流分类输入输出流FileOutputStreamInputStreamInputStream与OutputStream的实例ReaderWriterFileReader和FileWriter的实例缓冲流转换流序列化与ObjectInputStream、ObjectOutputStream打印流Pro…...

编程日记 2023/2/20 2:06:51

MySQL备份恢复（十二）

文章目录1. MySQL数据损坏类型1.1 物理损坏1.2 逻辑损坏2. DBA运维人员备份/恢复职责2.1 设计备份/容灾策略2.1.1 备份策略2.1.2 容灾策略2.2 定期的备份/容灾检查2.3 定期的故障恢复演练2.4 数据损坏时的快速准确恢复2.5 数据迁移工作3. MySQL常用备份工具3.1 逻辑备份方式3.2…...

编程日记 2023/2/20 2:05:43

【Java|golang】1792. 最大平均通过率---封装最小堆

一所学校里有一些班级，每个班级里有一些学生，现在每个班都会进行一场期末考试。给你一个二维数组 classes ，其中 classes[i] [passi, totali] ，表示你提前知道了第 i 个班级总共有 totali 个学生，其中只有 passi 个学…...

编程日记 2023/2/20 2:04:35

PHP 页面静态化

前言随着网站的内容的增多和用户访问量的增多，网站加载会越来越慢，受限于带宽和服务器同一时间的请求次数的限制，，我们往往需要在此时对我们的网站进行代码优化和服务器配置的优化。一、页面静态化概念静态化定义静态化就是指把原…...

编程日记 2023/2/20 2:03:25

【Python】进制、计算机中的单位、编码、数据类型、索引、字符串切片、字符串的功能方法

一、进制计算机中底层所有的数据都是以 010101 的形式存在（图片、文本、视频等）。二进制八进制十进制（也就是我们熟知的阿拉伯数字）十六进制进制转换v1 bin(25) # 十进制转换为二进制 print(v1) # "0b11001"v2 oct(23…...

编程日记 2023/2/20 2:02:16

基于android的无人健身房

需求信息： 1：客户登录：首次登陆必须注册，用户注册完成后可以进入软件查看自己的金额、会员等级、消费和健身时长。 2：计费功能：用户通过软件扫描二维码后即可进入健身房，软件显示欢迎进入健身房…...

编程日记 2023/2/20 1:59:03

Revelation光影包：5分钟打造电影级Minecraft视觉体验

Revelation光影包：5分钟打造电影级Minecraft视觉体验 【免费下载链接】Revelation An explorative shaderpack for Minecraft: Java Edition 项目地址: https://gitcode.com/gh_mirrors/re/Revelation 想让你的Minecraft方块世界瞬间拥有电影大片般的视觉效果…...

编程新知 2026/5/15 8:47:07

基于WebSocket的企业微信AI助手部署与调优实战

1. 项目概述：一个开箱即用的企业微信AI助手搭建方案最近在折腾如何把Claude Code这个强大的AI编程助手无缝集成到团队日常沟通里，试过一些方案，要么需要公网服务器搞回调配置，要么部署起来一堆依赖让人头疼。直到发现了这个叫Claw…...

编程新知 2026/5/15 8:36:33

CircuitPython硬件交互实战：从数字I/O到NeoPixel灯带控制

1. 项目概述如果你刚开始接触嵌入式硬件开发，面对一堆引脚、传感器和电机，可能会觉得有点无从下手。我刚开始玩Arduino和树莓派Pico的时候，也是这种感觉，总觉得底层寄存器、数据手册太复杂。直到后来用上了CircuitPython&#xff…...

编程新知 2026/5/15 8:32:24

HFSS新手避坑指南：手把手教你仿真带孔金属箱的屏蔽效能（附模型文件）

HFSS新手避坑指南：手把手教你仿真带孔金属箱的屏蔽效能 第一次打开HFSS时，那种面对复杂界面的茫然感我至今记忆犹新。作为电磁仿真领域的标杆工具，HFSS的强大功能背后是陡峭的学习曲线。特别是当老板突然扔给你一个带孔金属箱的屏蔽效能评估任…...

编程新知 2026/5/15 7:36:00

嵌入式游戏UI与动画实战：基于CircuitPython的对话框系统与位图动画实现

1. 项目概述与核心价值如果你在嵌入式平台上做过游戏开发，尤其是那种带有复古像素风格和复杂交互逻辑的项目，你肯定遇到过两个绕不开的难题：如何优雅地处理用户输入和反馈，以及如何在有限的硬件资源下实现流畅的动画效果。最近我在…...

编程新知 2026/5/15 7:33:59

0-π量子比特保护机制与受控相位门设计

1. 0-π量子比特的物理实现与保护机制1.1 多模电路编码原理0-π量子比特是一种基于超导电路的多模编码量子比特，其核心设计理念是通过电路中的θ和φ两个非线性耦合模式来实现量子态的编码。这种双模编码结构使其相比传统单模超导量子比特（如transmon或f…...

编程新知 2026/5/15 7:01:51

PCB设计规范-机插定位孔设计要求

核心要求1) 机插定位孔的孔径为4mm，只能是机械孔，孔内不能沉铜。2) 第一个机插定位孔位于PCB板长边的左下角，机插定位孔的中心与两板的距离都等于5mm。3) 第二机插定位孔仅位于PCB板长边的右下角，距离长边的板边5mm，离…...

编程新知 2026/5/15 7:01:51

Cursor智能体工具包：从AI编程助手到自主规划开发伙伴

1. 项目概述：一个为AI编程助手赋能的智能工具包如果你和我一样，日常重度依赖Cursor这类AI编程助手，那你肯定也经历过这样的时刻：面对一个复杂的重构任务，你不得不把需求拆成十几条指令，一条条喂给AI&#x…...

编程新知 2026/5/15 6:53:46

FPGA实现JPEG-LS硬件编码器：架构、算法与工程实践

1. 项目概述：一个开源的JPEG-LS硬件编码器最近在翻看一些开源硬件项目时，看到了一个名为“FPGA-JPEG-LS-encoder”的仓库。这个项目由WangXuan95维护，从名字就能一眼看出，它是一个用硬件描述语言实现的JPEG-LS图像压缩编码器&…...

编程新知 2026/5/15 6:41:23

构建数字情绪护盾：基于情感分析与规则引擎的个性化内容过滤系统

1. 项目概述：构建你的数字情绪护盾在数字生活的洪流中，我们每天都被海量的信息、社交互动和网络噪音所包围。你有没有过这样的感觉：刷了半小时手机，不仅没放松，反而感到莫名的焦虑和疲惫？或者，在…...

编程新知 2026/5/15 2:11:09