当前位置： 首页 > news >正文

【HDFS】FsDatasetImpl#recoverClose方法

news 2026/3/27 10:16:54
  • recoverClose的目的
  • recoverClose的过程
  • recoverClose的调用点

一、前言

HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。

这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。

二、recoverClose的逻辑

目标：用于恢复一个failed pipeline的close。
此方法会增加repli

相关文章：

【HDFS】FsDatasetImpl#recoverClose方法

recoverClose的目的recoverClose的过程recoverClose的调用点一、前言 HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写…...

编程日记 2023/2/20 2:22:47

加油站会员管理小程序实战开发教程15 完结篇

这篇是本次实战课程的最后一篇，我们在上篇还有两个问题没解决。一个是会员卡类型显示不对，一个是不同的会员卡我们希望背景色显示不同。我们先处理一下这两个问题 1 显示会员卡类型 在列表上直接显示会员卡类型，目前显示的是数字，这个是因为枚举类型导致的。枚举类型在数…...

编程日记 2023/2/20 2:21:38

学习 Python 之 Pygame 开发坦克大战（五）

学习 Python 之 Pygame 开发坦克大战（五）坦克大战完善地图1. 创建砖墙2. 给砖墙增加子弹击中的碰撞效果3. 给砖墙添加坦克不能通过的碰撞效果4. 添加石墙5. 添加玩家基地6. 最终效果坦克大战完善地图 我的素材放到了百度网盘里，里面还有原版…...

编程日记 2023/2/20 2:20:30

【ROS】Windows系统安装ROS体验

大家平时玩ROS都是在Ubuntu系统上，那Windows系统可以安装吗，答案是：可以的！Windows为了发展自家的物联网生态，已经在Windows系统支持ROS了。 文章目录1.安装VS 20172.安装Chocolatey & Git3.安装ROS4.运行ROS例程1…...

编程日记 2023/2/20 2:19:20

第1讲-初步认识数据库系统(测试题总结)

一、测试题 数据库系统 包含 数据库管理系统 详细版： 数据库管理系统DBMS是数据管理软件，在用户和操作系统之间。 数据库系统DBS由数据库，数据库管理系统（及其应用开发工具）、应用程序和数据库管理员DBA组成的存储、管…...

编程日记 2023/2/20 2:18:13

进程-操作系统结构

进程-操作系统结构 中文仅本人理解，有错误请联系我。 操作系统为不同方面服务，有不同的设计角度。 为用户： 使用 为程序员：创造 程序员需要关注的就是system call接口的调度 file systems：ntfs，ext4 commu…...

编程日记 2023/2/20 2:17:07

【网络原理6】数据链路层协议——以太网

数据链路层负责的是相邻两个网络节点之间的数据以帧为单位进行传输。 具体关于数据链路层的介绍，已经在这一篇文章当中提到了。 初识网络：IP、端口、网络协议、TCP-IP五层模型_革凡成圣211的博客-CSDN博客TCP/IP五层协议详解https://blog.csdn.net/weix…...

编程日记 2023/2/20 2:15:59

组合数学原理与例题

目录 一、前言 二、计数原理 1、加法原理 2、分割立方体（lanqiaoOJ题号1620） 3、乘法原理 4、挑选子串（lanqiaoOJ题号1621） 5、糊涂人寄信（lanqiaoOJ题号1622） 6、战斗吧N皇后（lanqiaoO…...

编程日记 2023/2/20 2:14:51

【机器学习 深度学习】通俗讲解集成学习算法

目录：集成学习一、机器学习中的集成学习1.1 定义1.2 分类器(Classifier)1.2.1 决策树分类器1.2.2 朴素贝叶斯分类器1.2.3 AdaBoost算法1.2.4 支持向量机1.2.5 K近邻算法1.3 集成学习方法1.3.1 自助聚合(Bagging)1.3.2 提升法(Boosting)1.3.2.1 自适应adaboost1.3.3 …...

编程日记 2023/3/15 3:43:00

汉字----dgfont

Abstract 字符生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来受到了广泛的关注。然而，现有的字体生成方法通常是在监督学习中。它们需要大量的配对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像转换模型通常将风格定义为纹理和颜…...

编程日记 2023/2/20 2:12:32

C# chart绘图 鼠标响应

1、图形自动滚动设置 chart1.ChartAreas[0].AxisX.Maximum 横坐标显示区域最大值 chart1.ChartAreas[0].AxisX.Minimum 横坐标显示区域最小值 显示宽度 chart1.ChartAreas[0].AxisX.Maximum - chart1.ChartAreas[0].AxisX.Minimum chart1.ChartAreas[0].AxisX.Maximum x_d…...

编程日记 2023/2/20 2:11:24

结构体与引用

1.结构体基本概念结构体属于用户自定义的数据类型，允许用户存储不同的数据类型2.结构体定义和使用语法: struct 结构体 { 结构体成员列表 };通过结构体创建变量的方式有三种:struct 结构体名 变量名struct 结构体名 变量名 { 成员1值，成员2值...}定义结构…...

编程日记 2023/2/20 2:10:16

13.罗马数字转整数

罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1 。12 写做 XII ，即为 X II 。 27 写做 XX…...

编程日记 2023/2/20 2:09:09

JVM垃圾回收机制

垃圾回收机制（GC） 内存管理 Java的内存管理很大程度指的就是对象的管理，其中包括对象空间的分配和释放。 对象空间的分配：使用new关键字创建对象即可 对象空间的释放：将对象赋值null即可。垃圾回收器将负责所有“不…...

编程日记 2023/2/20 2:07:59

Java File类、IO流、Properties属性类

文章目录一、补充二、File类File类的含义创建多级文件File类的常见方法三、IO流IO流分类输入输出流FileOutputStreamInputStreamInputStream与OutputStream的实例ReaderWriterFileReader和FileWriter的实例缓冲流转换流序列化与ObjectInputStream、ObjectOutputStream打印流Pro…...

编程日记 2023/2/20 2:06:51

MySQL备份恢复（十二）

文章目录1. MySQL数据损坏类型1.1 物理损坏1.2 逻辑损坏2. DBA运维人员备份/恢复职责2.1 设计备份/容灾策略2.1.1 备份策略2.1.2 容灾策略2.2 定期的备份/容灾检查2.3 定期的故障恢复演练2.4 数据损坏时的快速准确恢复2.5 数据迁移工作3. MySQL常用备份工具3.1 逻辑备份方式3.2…...

编程日记 2023/2/20 2:05:43

【Java|golang】1792. 最大平均通过率---封装最小堆

一所学校里有一些班级，每个班级里有一些学生，现在每个班都会进行一场期末考试。给你一个二维数组 classes ，其中 classes[i] [passi, totali] ，表示你提前知道了第 i 个班级总共有 totali 个学生，其中只有 passi 个学…...

编程日记 2023/2/20 2:04:35

PHP 页面静态化

前言随着网站的内容的增多和用户访问量的增多，网站加载会越来越慢，受限于带宽和服务器同一时间的请求次数的限制，，我们往往需要在此时对我们的网站进行代码优化和服务器配置的优化。一、页面静态化概念静态化定义静态化就是指把原…...

编程日记 2023/2/20 2:03:25

【Python】进制、计算机中的单位、编码、数据类型、索引、字符串切片、字符串的功能方法

一、进制计算机中底层所有的数据都是以 010101 的形式存在（图片、文本、视频等）。二进制八进制十进制（也就是我们熟知的阿拉伯数字）十六进制进制转换v1 bin(25) # 十进制转换为二进制 print(v1) # "0b11001"v2 oct(23…...

编程日记 2023/2/20 2:02:16

基于android的无人健身房

需求信息： 1：客户登录：首次登陆必须注册，用户注册完成后可以进入软件查看自己的金额、会员等级、消费和健身时长。 2：计费功能：用户通过软件扫描二维码后即可进入健身房，软件显示欢迎进入健身房…...

编程日记 2023/2/20 1:59:03

FireRedASR Pro模型架构浅析：从卷积神经网络到端到端设计

FireRedASR Pro模型架构浅析：从卷积神经网络到端到端设计 最近在语音识别圈子里，FireRedASR Pro这个名字被提到的次数越来越多了。不少朋友都在问，这个模型到底有什么特别之处，为什么大家都在讨论它。其实，它的核心魅…...

编程新知 2026/3/27 8:16:30

裂隙注浆模拟：当岩层遇上高粘度浆液

在COMSOL中运用水平集法和蠕动流模块模拟裂隙注浆过程，考虑浆液—岩体的耦合作用。 一般而言，裂隙开度越大，浆液所需注入压力越小。 本算例从结果来看可以验证此定律。 裂隙变形的本构取之于已发表的文献。 本算例中，初始时刻裂隙…...

编程新知 2026/3/27 7:32:14

UE4SS虚幻引擎Mod开发工具：从技术痛点到生态共建的完整指南

UE4SS虚幻引擎Mod开发工具：从技术痛点到生态共建的完整指南 【免费下载链接】RE-UE4SS Injectable LUA scripting system, SDK generator, live property editor and other dumping utilities for UE4/5 games 项目地址: https://gitcode.com/gh_mirrors/re/RE-UE…...

编程新知 2026/3/27 7:14:12

电力电子器件全解析：从二极管到IGBT，手把手教你掌握王兆安教材核心考点

电力电子器件深度解析：从基础原理到高效复习策略 电力电子技术作为现代自动化与能源转换的核心学科，其器件特性与应用的掌握程度直接影响着工程师解决实际问题的能力。对于华南理工大学自动化专业的学生而言，王兆安教授的《电力电子技术》教材…...

编程新知 2026/3/27 7:09:33

小白友好！Gemma-3-12B-IT WebUI部署常见错误及修复方法

小白友好！Gemma-3-12B-IT WebUI部署常见错误及修复方法 1. 为什么你的WebUI总是打不开？ 你是不是也遇到过这种情况：跟着教程一步步部署Gemma-3-12B-IT的WebUI，最后一步打开浏览器，输入地址，结果页面一直转…...

编程新知 2026/3/27 6:25:12

DeepSeek-OCR-2实战教程：OCR结果JSON Schema解析与结构化数据入库指南

DeepSeek-OCR-2实战教程：OCR结果JSON Schema解析与结构化数据入库指南 1. 项目简介 DeepSeek-OCR-2是基于深度学习的智能文档解析工具，专门针对结构化文档内容提取而设计。与传统的OCR工具只能提取纯文本不同，这个工具能够精准识别文档的排…...

编程新知 2026/3/27 6:23:06

Unsloth Docker部署详解：从零开始搭建训练环境

Unsloth Docker部署详解：从零开始搭建训练环境 1. 环境准备与Docker安装 1.1 系统要求检查 在开始之前，请确保你的系统满足以下基本要求： 64位Linux系统（推荐Ubuntu 22.04）NVIDIA显卡驱动已安装（建议版…...

编程新知 2026/3/27 5:04:29

AI 大模型落地系列｜Eino 组件核心篇：ChatTemplate 为什么不是字符串拼接

声明：本文数据源于官方文档与官方实现，重点参考 ChatTemplate 使用说明。 为什么很多人学 Eino 后，写 Prompt 时还是把 ChatTemplate 用成了字符串拼接？1. ChatTemplate 是什么，不是什么2. 接口虽短，但起的…...

编程新知 2026/3/27 2:56:48

5分钟解锁WeMod专业版：开源工具让你的游戏修改体验全面升级

5分钟解锁WeMod专业版：开源工具让你的游戏修改体验全面升级 【免费下载链接】Wemod-Patcher WeMod patcher allows you to get some WeMod Pro features absolutely free 项目地址: https://gitcode.com/gh_mirrors/we/Wemod-Patcher 还在为WeMod专业版的订阅…...

编程新知 2026/3/27 2:52:47

CI/CD 流水线性能优化：从构建到部署

CI/CD 流水线性能优化：从构建到部署 前言 哥们，别整那些花里胡哨的理论。今天直接上硬菜——我在大厂一线优化 CI/CD 流水线性能的真实经验总结。作为一个白天写前端、晚上打鼓的硬核工程师，我对效率的追求就像对鼓点节奏的把控一样严格。 背…...

编程新知 2026/3/27 2:18:42