当前位置：首页 > news >正文

HDFS 梳理

news 2026/3/29 20:13:09

HDFS客户端

客户端作用

管理文件目录
文件系统操作
读写

客户端生成

配置项

配置
客户端状态
缓冲相关参数，读写缓冲
失败切换操作
推测执行??

NN引用

NNProxy

客户端关闭

关闭IO流
修改状态
关闭RPC连接

是否有多个RPC连接？

HDFS读

打开文件
构建输入流

输入流

FSInputStream (seek,pos)
DFSInputStream （缓存相关，读取相关）
HDFSInputStream （获取当前的数据节点，获取当前的块，获取所有的块等）

open方法

获取文件对应的块信息: ClientProtocol.getBlockLoactions();

NN端响应，需要给出排序规则。

获取块对应的长度信息:ClientDatanodeProtocol.getReplicaVisibleLength()方法。

read方法

最终的目的是从一个流读取一定长度的信息

网络读
短路读: 客户端和DN在同一个节点，DomainSocket
零拷贝读

调用blockSeekTo，(RPC)找到pos文件块信息，找到合适的datanode,构建BlockReader
readBuffer增加校验和重试逻辑
BlockReader.doRead方法进行实际的读取

HDFS写

正常的写步骤如下：

创建文件，返回DFSoutputStream
申请数据块，构建管道
写数据
关闭流，提交文件

故障恢复:

重发
复制
更新NN

HDFS 梳理

HDFS客户端客户端作用管理文件目录文件系统操作读写客户端生成配置项配置客户端状态缓冲相关参数，读写缓冲失败切换操作推测执行?? NN引用 NNProxy 客户端关闭关闭IO流修改状态关闭RPC连接是否有多个RPC连接？ HDFS读打开文件构…...

编程日记 2023/4/21 22:45:04

ChatGPT团队中，3个清华学霸，1个北大学霸，共9位华人

众所周知，美国硅谷其实有着众多的华人，哪怕是芯片领域，华为也有着一席之地，比如AMD 的 CEO 苏姿丰、Nvidia 的 CEO 黄仁勋都是华人。还有更多的美国著名的科技企业中，都有着华人的身影，这些华人&#xff…...

编程日记 2023/4/21 22:40:03

通过工具生成指定类型大小文件

今天给大家介绍一个神器首先大家在开发过程中或许经常需要涉及到文件上传类的功能需要测试文件过大空文件等等清空不同大小的文件而这种文件大小是比较不好控制的但大家可以下载我的资源文件生成工具(可生成指定大小类型文件) 下载下来里面就有一个 fileGeneration…...

编程日记 2023/4/21 22:35:01

超外差收音机的制作-电子线路课程设计-实验课

超外差收音机的制作一、原理部分： 超外差收音机：超外差式收音机是将接收到的不同频率的高频信号全部变成一个固定的中频信号进行放大，因而电路对各种电台信号的放大量基本是相同的，这样可以使中放电路具有优良的频率特性。超…...

编程日记 2023/4/21 22:30:00

TensorFlow 深度学习实战指南：1~5 全

原文：Hands-on Deep Learning with TensorFlow 协议：CC BY-NC-SA 4.0 译者：飞龙本文来自【ApacheCN 深度学习译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。不要担心自己的形象，只关心如…...

编程日记 2023/4/21 22:24:58

【数据结构】队列的实现

白日去如箭，达者惜今阳。 --朱敦儒目录 🚁前言： 🏝️一.队列的概念及结构 🌻二.队列各种功能的实现 🍍1.队列的初始化 🏝️2.队列…...

编程日记 2023/4/21 22:19:56

【数据库】— 无损连接、Chase算法、保持函数依赖

【数据库】— 无损连接、Chase算法 Chase算法Chase算法举例一种简便方法：分解为两个模式时无损连接和函数依赖的一个简单例子 Chase算法形式化定义： 构造一个 k k k行 n n n列的表格，每行对应一个模式 R i ( 1 ≤ i ≤ k ) Ri (1≤i ≤ k)…...

编程日记 2023/6/1 6:13:29

用英语翻译中文-汉字英文翻译

中文转英语翻译作为一款高效、准确的中文转英语翻译软件，我们的产品可以帮助全球用户更好地沟通和合作，实现跨文化交流。在全球化的今天，中英文翻译已经成为商务、学术、娱乐等各个领域不可或缺的一部分。我们的中文转英语翻译软件是为了…...

编程日记 2023/4/21 22:09:53

瑞吉外卖项目——缓存优化

用户数量多，系统访问量大频繁访问数据库，系统性能下降，用户体验差环境搭建 maven坐标在项目的pom.xml文件中导入spring data redis的maven坐标: <dependency><groupId>org.springframework.boot</groupId><arti…...

编程日记 2023/4/21 22:04:51

从头创建一个新的浏览器，这合理吗？

从头构建一个新浏览器？这如果是不是个天大的“伪需求”，便是一场开发者的噩梦！ 要知道，如果没有上百亿的资金和数百名研发工程师的投入，从头开始构建一个新的浏览器引擎，几乎是不可能的。然而SerenityOS系统…...

编程日记 2023/4/21 21:59:50

TypeScript泛型类型和接口

本节课我们来开始了解 TypeScript 中泛型类型的概念和接口使用。一．泛型类型 1. 前面，我们通过泛型变量的形式来存储调用方的类型从而进行检查； 2. 而泛型也可以作为类型的方式存在，理解这一点，先了解下函数的…...

编程日记 2023/4/21 21:54:49

docker命令

1.运行 docker-compose up 2.查看命令 docker images 3.删掉docker镜像: docker rmi -f [id] docker卸载 1.杀死docker有关的容器： docker kill $(docker ps -a -q) 2.删除所有docker容器：docker rm $(docker ps -a -q) 3.删除所有docker镜像&…...

编程日记 2023/5/31 20:09:02

2023 年 3 月 NFT 月度报告

作者：Danielfootprint.network 数据来源：NFT Monthly Report 三月份的 NFT 市场上出现了两个有趣的趋势。一方面，Polygon 链尽管在二月份有所突破，达到了 NFT 总交易量的 4.2%，但于三月再次跌至 1% 以下，…...

编程日记 2023/4/21 21:44:44

【http】 get方法和Post方法区别；http和https

get方法和Post方法 get方法：通过url传参，回显输入的私密信息，不够私密 Post方法：通过正文传参，不会回显，一般私密性有保证。一般如果上传的图片，音频比较大，推荐Post方法&#x…...

编程日记 2023/4/21 21:39:43

第三章法的渊源与法的分类

目录第一节法的渊源的分类一、法的渊源释义二、法的渊源种类第二节正式法源一、正式法源的含义二、当代中国的正式法源三、正式法源的一般效力原则第三节非正式法源一、当代中国的非正式法源第四节法的分类一、法的一般分类二、法的特殊分类第一节法的渊源的…...

编程日记 2023/4/21 21:34:41

在Ubuntu18.04或者20.04下搭建edk2运行环境

#更新完之后依次执行下面两条命令 1.apt-get update 2.apt-get upgrade 如果执行之后出现源不能更新的问题，到/etc/apt/sources.list.d 下删除对应的ppa源重新更新即可解决 git clone https://github.com/tianocore/edk2.git cd edk2 git submodule update --init 如果git cl…...

编程日记 2023/4/21 21:29:39

多线程编程常用函数用法

一、多线程编程常用函数用法 1、pthread_create 头文件 #include<pthread.h>函数声明 int pthread_create(pthread_t*restrict tidp,const pthread_attr_t *restrict_attr,void*（*start_rtn)(void*),void *restrict arg)函数功能 pthread_create是UNIX环境…...

编程日记 2023/4/21 21:24:38

C++ 标准模板库（Standard Template Library，STL）

✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…...

编程日记 2023/5/29 20:45:56

一个寄存器的bit2 bit3位由10修改成11，C示例

方法1： 如果需要将一个寄存器中的 bit2 和 bit3 两个位从 11 修改为 10，可以使用如下的 C 语言代码实现： // 将寄存器的 bit2 和 bit3 位从 11 修改为 10 volatile uint32_t *reg_addr (volatile uint32_t *)0x12345678; // 假设寄存器地址…...

编程日记 2023/4/21 21:14:35

【洛谷】P1631 序列合并

【洛谷】 P1631 序列合并题目描述有两个长度为 N N N 的单调不降序列 A , B A,B A,B，在 A , B A,B A,B 中各取一个数相加可以得到 N 2 N^2 N2 个和，求这 N 2 N^2 N2 个和中最小的 N N N 个。输入格式第一行一个正整数 N N N； 第二…...

编程日记 2023/4/21 21:09:34

leetcode-hot100-15动态规划

4.动态规划文章目录 4.动态规划 70.爬楼梯方法一：c 方法一：js 方法一：java 118. 杨辉三角方法一：c 方法一：js 方法一：java 198. 打家劫舍方法一：c 方法一：js 方法一：java 279. 完全平方数方法一：c 方法一：js 方法一：java 322. 零钱兑换方法一：c 方法一：js …...

编程新知 2026/3/29 19:57:46

OBS Studio架构深度解析：如何构建专业级直播系统的核心技术栈

OBS Studio架构深度解析：如何构建专业级直播系统的核心技术栈【免费下载链接】obs-studio OBS Studio - 用于直播和屏幕录制的免费开源软件。项目地址: https://gitcode.com/GitHub_Trending/ob/obs-studio OBS Studio作为开源直播录制软件的标杆&#xff…...

编程新知 2026/3/29 19:47:44

RK3568开发板烧录避坑指南：Maskrom和Loader模式切换失败？手把手教你排查（附串口调试技巧）

RK3568开发板烧录模式切换全攻略：从原理到实战排查刚拿到RK3568开发板的开发者们，往往会在第一个环节就遭遇"拦路虎"——开发板死活进不了Maskrom或Loader模式。看着官方文档里简单的按键操作说明，实际操作时却像在玩一场没有规则…...

编程新知 2026/3/29 19:31:40

从‘玩具项目’到‘线上产品’：我的Vue3项目在阿里云ECS上线的完整踩坑记录（含Nginx配置）

从本地开发到云端部署：Vue3项目实战全流程解析第一次将自己的Vue项目部署到线上时，我盯着浏览器里那个404错误页面整整发呆了十分钟。作为一个刚完成基础学习的开发者，我原以为按照教程一步步操作就能顺利上线，但现实却给了我当头…...

编程新知 2026/3/29 18:39:29

SunnyUI中UIAvatar的进阶应用与自定义配置

1. UIAvatar控件基础回顾与核心属性解析在SunnyUI这个强大的WinForms控件库中，UIAvatar可以说是用户界面设计的"门面担当"。它专门用于展示用户头像、品牌标识或者任何需要圆形/圆角矩形展示的图形元素。虽然基础使用很简单，但很多人可能只停…...

编程新知 2026/3/29 17:41:09

3分钟快速上手：text-generation-webui大模型本地部署完全指南

3分钟快速上手：text-generation-webui大模型本地部署完全指南【免费下载链接】text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/Gi…...

编程新知 2026/3/29 16:06:17

Qwen3-VL-8B-Instruct-GGUF效果展示：上传图片秒出中文描述，实测高清准确

Qwen3-VL-8B-Instruct-GGUF效果展示：上传图片秒出中文描述，实测高清准确想象一下，你随手拍了一张照片，上传到一个工具里，几秒钟后，一段详细、准确、甚至带点文采的中文描述就自动生成了。这听起来像是科幻…...

编程新知 2026/3/29 15:58:16

如何用RecastNavigation构建完整的游戏AI导航系统：从入门到实战

如何用RecastNavigation构建完整的游戏AI导航系统：从入门到实战【免费下载链接】recastnavigation Navigation-mesh Toolset for Games 项目地址: https://gitcode.com/gh_mirrors/re/recastnavigation 想要为你的游戏打造智能的AI导航系统吗？Re…...

编程新知 2026/3/29 15:31:59