当前位置：首页 > news >正文

HDFS 梳理

news 2025/9/16 15:17:24

HDFS客户端

客户端作用

管理文件目录
文件系统操作
读写

客户端生成

配置项

配置
客户端状态
缓冲相关参数，读写缓冲
失败切换操作
推测执行??

NN引用

NNProxy

客户端关闭

关闭IO流
修改状态
关闭RPC连接

是否有多个RPC连接？

HDFS读

打开文件
构建输入流

输入流

FSInputStream (seek,pos)
DFSInputStream （缓存相关，读取相关）
HDFSInputStream （获取当前的数据节点，获取当前的块，获取所有的块等）

open方法

获取文件对应的块信息: ClientProtocol.getBlockLoactions();

NN端响应，需要给出排序规则。

获取块对应的长度信息:ClientDatanodeProtocol.getReplicaVisibleLength()方法。

read方法

最终的目的是从一个流读取一定长度的信息

网络读
短路读: 客户端和DN在同一个节点，DomainSocket
零拷贝读

调用blockSeekTo，(RPC)找到pos文件块信息，找到合适的datanode,构建BlockReader
readBuffer增加校验和重试逻辑
BlockReader.doRead方法进行实际的读取

HDFS写

正常的写步骤如下：

创建文件，返回DFSoutputStream
申请数据块，构建管道
写数据
关闭流，提交文件

故障恢复:

重发
复制
更新NN

HDFS 梳理

HDFS客户端客户端作用管理文件目录文件系统操作读写客户端生成配置项配置客户端状态缓冲相关参数，读写缓冲失败切换操作推测执行?? NN引用 NNProxy 客户端关闭关闭IO流修改状态关闭RPC连接是否有多个RPC连接？ HDFS读打开文件构…...

编程日记 2023/4/21 22:45:04

ChatGPT团队中，3个清华学霸，1个北大学霸，共9位华人

众所周知，美国硅谷其实有着众多的华人，哪怕是芯片领域，华为也有着一席之地，比如AMD 的 CEO 苏姿丰、Nvidia 的 CEO 黄仁勋都是华人。还有更多的美国著名的科技企业中，都有着华人的身影，这些华人&#xff…...

编程日记 2023/4/21 22:40:03

通过工具生成指定类型大小文件

今天给大家介绍一个神器首先大家在开发过程中或许经常需要涉及到文件上传类的功能需要测试文件过大空文件等等清空不同大小的文件而这种文件大小是比较不好控制的但大家可以下载我的资源文件生成工具(可生成指定大小类型文件) 下载下来里面就有一个 fileGeneration…...

编程日记 2023/4/21 22:35:01

超外差收音机的制作-电子线路课程设计-实验课

超外差收音机的制作一、原理部分： 超外差收音机：超外差式收音机是将接收到的不同频率的高频信号全部变成一个固定的中频信号进行放大，因而电路对各种电台信号的放大量基本是相同的，这样可以使中放电路具有优良的频率特性。超…...

编程日记 2023/4/21 22:30:00

TensorFlow 深度学习实战指南：1~5 全

原文：Hands-on Deep Learning with TensorFlow 协议：CC BY-NC-SA 4.0 译者：飞龙本文来自【ApacheCN 深度学习译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。不要担心自己的形象，只关心如…...

编程日记 2023/4/21 22:24:58

【数据结构】队列的实现

白日去如箭，达者惜今阳。 --朱敦儒目录 🚁前言： 🏝️一.队列的概念及结构 🌻二.队列各种功能的实现 🍍1.队列的初始化 🏝️2.队列…...

编程日记 2023/4/21 22:19:56

【数据库】— 无损连接、Chase算法、保持函数依赖

【数据库】— 无损连接、Chase算法 Chase算法Chase算法举例一种简便方法：分解为两个模式时无损连接和函数依赖的一个简单例子 Chase算法形式化定义： 构造一个 k k k行 n n n列的表格，每行对应一个模式 R i ( 1 ≤ i ≤ k ) Ri (1≤i ≤ k)…...

编程日记 2023/6/1 6:13:29

用英语翻译中文-汉字英文翻译

中文转英语翻译作为一款高效、准确的中文转英语翻译软件，我们的产品可以帮助全球用户更好地沟通和合作，实现跨文化交流。在全球化的今天，中英文翻译已经成为商务、学术、娱乐等各个领域不可或缺的一部分。我们的中文转英语翻译软件是为了…...

编程日记 2023/4/21 22:09:53

瑞吉外卖项目——缓存优化

用户数量多，系统访问量大频繁访问数据库，系统性能下降，用户体验差环境搭建 maven坐标在项目的pom.xml文件中导入spring data redis的maven坐标: <dependency><groupId>org.springframework.boot</groupId><arti…...

编程日记 2023/4/21 22:04:51

从头创建一个新的浏览器，这合理吗？

从头构建一个新浏览器？这如果是不是个天大的“伪需求”，便是一场开发者的噩梦！ 要知道，如果没有上百亿的资金和数百名研发工程师的投入，从头开始构建一个新的浏览器引擎，几乎是不可能的。然而SerenityOS系统…...

编程日记 2023/4/21 21:59:50

TypeScript泛型类型和接口

本节课我们来开始了解 TypeScript 中泛型类型的概念和接口使用。一．泛型类型 1. 前面，我们通过泛型变量的形式来存储调用方的类型从而进行检查； 2. 而泛型也可以作为类型的方式存在，理解这一点，先了解下函数的…...

编程日记 2023/4/21 21:54:49

docker命令

1.运行 docker-compose up 2.查看命令 docker images 3.删掉docker镜像: docker rmi -f [id] docker卸载 1.杀死docker有关的容器： docker kill $(docker ps -a -q) 2.删除所有docker容器：docker rm $(docker ps -a -q) 3.删除所有docker镜像&…...

编程日记 2023/5/31 20:09:02

2023 年 3 月 NFT 月度报告

作者：Danielfootprint.network 数据来源：NFT Monthly Report 三月份的 NFT 市场上出现了两个有趣的趋势。一方面，Polygon 链尽管在二月份有所突破，达到了 NFT 总交易量的 4.2%，但于三月再次跌至 1% 以下，…...

编程日记 2023/4/21 21:44:44

【http】 get方法和Post方法区别；http和https

get方法和Post方法 get方法：通过url传参，回显输入的私密信息，不够私密 Post方法：通过正文传参，不会回显，一般私密性有保证。一般如果上传的图片，音频比较大，推荐Post方法&#x…...

编程日记 2023/4/21 21:39:43

第三章法的渊源与法的分类

目录第一节法的渊源的分类一、法的渊源释义二、法的渊源种类第二节正式法源一、正式法源的含义二、当代中国的正式法源三、正式法源的一般效力原则第三节非正式法源一、当代中国的非正式法源第四节法的分类一、法的一般分类二、法的特殊分类第一节法的渊源的…...

编程日记 2023/4/21 21:34:41

在Ubuntu18.04或者20.04下搭建edk2运行环境

#更新完之后依次执行下面两条命令 1.apt-get update 2.apt-get upgrade 如果执行之后出现源不能更新的问题，到/etc/apt/sources.list.d 下删除对应的ppa源重新更新即可解决 git clone https://github.com/tianocore/edk2.git cd edk2 git submodule update --init 如果git cl…...

编程日记 2023/4/21 21:29:39

多线程编程常用函数用法

一、多线程编程常用函数用法 1、pthread_create 头文件 #include<pthread.h>函数声明 int pthread_create(pthread_t*restrict tidp,const pthread_attr_t *restrict_attr,void*（*start_rtn)(void*),void *restrict arg)函数功能 pthread_create是UNIX环境…...

编程日记 2023/4/21 21:24:38

C++ 标准模板库（Standard Template Library，STL）

✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…...

编程日记 2023/5/29 20:45:56

一个寄存器的bit2 bit3位由10修改成11，C示例

方法1： 如果需要将一个寄存器中的 bit2 和 bit3 两个位从 11 修改为 10，可以使用如下的 C 语言代码实现： // 将寄存器的 bit2 和 bit3 位从 11 修改为 10 volatile uint32_t *reg_addr (volatile uint32_t *)0x12345678; // 假设寄存器地址…...

编程日记 2023/4/21 21:14:35

【洛谷】P1631 序列合并

【洛谷】 P1631 序列合并题目描述有两个长度为 N N N 的单调不降序列 A , B A,B A,B，在 A , B A,B A,B 中各取一个数相加可以得到 N 2 N^2 N2 个和，求这 N 2 N^2 N2 个和中最小的 N N N 个。输入格式第一行一个正整数 N N N； 第二…...

编程日记 2023/4/21 21:09:34

基于Flask实现的医疗保险欺诈识别监测模型

基于Flask实现的医疗保险欺诈识别监测模型项目截图项目简介社会医疗保险是国家通过立法形式强制实施，由雇主和个人按一定比例缴纳保险费，建立社会医疗保险基金，支付雇员医疗费用的一种医疗保险制度， 它是促进社会文明和进步的…...

编程新知 2025/9/7 2:01:42

零基础设计模式——行为型模式 - 责任链模式

第四部分：行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习！行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。核心思想：使多个对象都有机会处…...

编程新知 2025/8/27 2:56:26

智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...

编程新知 2025/9/7 8:50:57

Java 二维码

Java 二维码 **技术：**谷歌 ZXing 实现首先添加依赖 <dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/9/6 16:22:45

pikachu靶场通关笔记19 SQL注入02-字符型注入(GET)

目录一、SQL注入二、字符型SQL注入三、字符型注入与数字型注入四、源码分析五、渗透实战 1、渗透准备 2、SQL注入探测 （1）输入单引号 （2）万能注入语句 3、获取回显列orderby 4、获取数据库名database 5、获取表名…...

编程新知 2025/9/7 8:50:14

嵌入式常见 CPU 架构

架构类型架构厂商芯片厂商典型芯片特点与应用场景PICRISC (8/16 位)MicrochipMicrochipPIC16F877A、PIC18F4550简化指令集，单周期执行；低功耗、CIP 独立外设；用于家电、小电机控制、安防面板等嵌入式场景8051CISC (8 位)Intel（原始…...

编程新知 2025/6/10 21:24:01