当前位置： 首页 > news >正文

HDFS 梳理

news 2026/5/18 6:01:02

HDFS客户端

客户端作用

  • 管理文件目录
  • 文件系统操作
  • 读写

客户端生成

配置项

配置
客户端状态
缓冲相关参数，读写缓冲
失败切换操作
推测执行??

NN引用

NNProxy

客户端关闭

关闭IO流
修改状态
关闭RPC连接

是否有多个RPC连接？

HDFS读

  1. 打开文件
  2. 构建输入流

输入流

FSInputStream (seek,pos)
DFSInputStream （缓存相关，读取相关）
HDFSInputStream （获取当前的数据节点，获取当前的块，获取所有的块等）

open方法

获取文件对应的块信息: ClientProtocol.getBlockLoactions();

NN端响应，需要给出排序规则。

获取块对应的长度信息:ClientDatanodeProtocol.getReplicaVisibleLength()方法。

read方法

最终的目的是从一个流读取一定长度的信息

  • 网络读
  • 短路读: 客户端和DN在同一个节点，DomainSocket
  • 零拷贝读

调用blockSeekTo，(RPC)找到pos文件块信息，找到合适的datanode,构建BlockReader
readBuffer增加校验和重试逻辑
BlockReader.doRead方法进行实际的读取

HDFS写

正常的写步骤如下：

  1. 创建文件，返回DFSoutputStream
  2. 申请数据块，构建管道
  3. 写数据
  4. 关闭流，提交文件

故障恢复:

  1. 重发
  2. 复制
  3. 更新NN

相关文章：

HDFS 梳理

HDFS客户端 客户端作用 管理文件目录文件系统操作读写 客户端生成 配置项 配置 客户端状态 缓冲相关参数，读写缓冲 失败切换操作 推测执行?? NN引用 NNProxy 客户端关闭 关闭IO流 修改状态 关闭RPC连接 是否有多个RPC连接？ HDFS读 打开文件构…...

编程日记 2023/4/21 22:45:04

ChatGPT团队中，3个清华学霸，1个北大学霸，共9位华人

众所周知，美国硅谷其实有着众多的华人，哪怕是芯片领域，华为也有着一席之地，比如AMD 的 CEO 苏姿丰、Nvidia 的 CEO 黄仁勋 都是华人。 还有更多的美国著名的科技企业中，都有着华人的身影，这些华人&#xff…...

编程日记 2023/4/21 22:40:03

通过工具生成指定 类型 大小 文件

今天给大家介绍一个神器 首先 大家在开发过程中或许经常需要涉及到文件上传类的功能 需要测试文件过大 空文件等等清空 不同大小的文件 而这种文件大小是比较不好控制的 但大家可以下载我的资源 文件生成工具(可生成指定大小 类型文件) 下载下来里面就有一个 fileGeneration…...

编程日记 2023/4/21 22:35:01

超外差收音机的制作-电子线路课程设计-实验课

超外差收音机的制作 一、原理部分： 超外差收音机：超外差式收音机是将接收到的不同频率的高频信号全部变成一个固定的中频信号进行放大，因而电路对各种电台信号的放大量基本是相同的，这样可以使中放电路具有优良的频率特性。 超…...

编程日记 2023/4/21 22:30:00

TensorFlow 深度学习实战指南：1~5 全

原文：Hands-on Deep Learning with TensorFlow 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如…...

编程日记 2023/4/21 22:24:58

【数据结构】队列的实现

白日去如箭，达者惜今阳。 --朱敦儒目录 🚁前言：​ 🏝️一.队列的概念及结构 🌻二.队列各种功能的实现 🍍1.队列的初始化 🏝️2.队列…...

编程日记 2023/4/21 22:19:56

【数据库】— 无损连接、Chase算法、保持函数依赖

【数据库】— 无损连接、Chase算法 Chase算法Chase算法举例一种简便方法：分解为两个模式时无损连接和函数依赖的一个简单例子 Chase算法 形式化定义： 构造一个 k k k行 n n n列的表格，每行对应一个模式 R i ( 1 ≤ i ≤ k ) Ri (1≤i ≤ k)…...

编程日记 2023/6/1 6:13:29

用英语翻译中文-汉字英文翻译

中文转英语翻译 作为一款高效、准确的中文转英语翻译软件，我们的产品可以帮助全球用户更好地沟通和合作，实现跨文化交流。 在全球化的今天，中英文翻译已经成为商务、学术、娱乐等各个领域不可或缺的一部分。我们的中文转英语翻译软件是为了…...

编程日记 2023/4/21 22:09:53

瑞吉外卖项目——缓存优化

用户数量多&#xff0c;系统访问量大 频繁访问数据库&#xff0c;系统性能下降&#xff0c;用户体验差 环境搭建 maven坐标 在项目的pom.xml文件中导入spring data redis的maven坐标: <dependency><groupId>org.springframework.boot</groupId><arti…...

编程日记 2023/4/21 22:04:51

从头创建一个新的浏览器，这合理吗？

从头构建一个新浏览器&#xff1f;这如果是不是个天大的“伪需求”&#xff0c;便是一场开发者的噩梦&#xff01; 要知道&#xff0c;如果没有上百亿的资金和数百名研发工程师的投入&#xff0c;从头开始构建一个新的浏览器引擎&#xff0c;几乎是不可能的。然而SerenityOS系统…...

编程日记 2023/4/21 21:59:50

TypeScript泛型类型和接口

本节课我们来开始了解 TypeScript 中泛型类型的概念和接口使用。 一&#xff0e;泛型类型 1. 前面&#xff0c;我们通过泛型变量的形式来存储调用方的类型从而进行检查&#xff1b; 2. 而泛型也可以作为类型的方式存在&#xff0c;理解这一点&#xff0c;先了解下函数的…...

编程日记 2023/4/21 21:54:49

docker命令

1.运行 docker-compose up 2.查看命令 docker images 3.删掉docker镜像: docker rmi -f [id] docker卸载 1.杀死docker有关的容器&#xff1a; docker kill $(docker ps -a -q) 2.删除所有docker容器&#xff1a;docker rm $(docker ps -a -q) 3.删除所有docker镜像&…...

编程日记 2023/5/31 20:09:02

2023 年 3 月 NFT 月度报告

作者&#xff1a;Danielfootprint.network 数据来源&#xff1a;NFT Monthly Report 三月份的 NFT 市场上出现了两个有趣的趋势。一方面&#xff0c;Polygon 链尽管在二月份有所突破&#xff0c;达到了 NFT 总交易量的 4.2%&#xff0c;但于三月再次跌至 1% 以下&#xff0c;…...

编程日记 2023/4/21 21:44:44

【http】 get方法和Post方法区别；http和https

get方法和Post方法 get方法&#xff1a;通过url传参&#xff0c;回显输入的私密信息&#xff0c;不够私密 Post方法&#xff1a;通过正文传参&#xff0c;不会回显&#xff0c;一般私密性有保证。 一般如果上传的图片&#xff0c;音频比较大&#xff0c;推荐Post方法&#x…...

编程日记 2023/4/21 21:39:43

第三章 法的渊源与法的分类

目录 第一节 法的渊源的分类 一、法的渊源释义二、法的渊源种类 第二节 正式法源 一、正式法源的含义二、当代中国的正式法源三、正式法源的一般效力原则 第三节 非正式法源 一、当代中国的非正式法源 第四节 法的分类 一、法的一般分类二、法的特殊分类 第一节 法的渊源的…...

编程日记 2023/4/21 21:34:41

在Ubuntu18.04或者20.04下搭建edk2运行环境

#更新完之后依次执行下面两条命令 1.apt-get update 2.apt-get upgrade 如果执行之后出现源不能更新的问题，到/etc/apt/sources.list.d 下删除对应的ppa源重新更新即可解决 git clone https://github.com/tianocore/edk2.git cd edk2 git submodule update --init 如果git cl…...

编程日记 2023/4/21 21:29:39

多线程编程常用函数用法

一、多线程编程常用函数用法 1、pthread_create 头文件 #include<pthread.h>函数声明 int pthread_create(pthread_t*restrict tidp,const pthread_attr_t *restrict_attr,void*&#xff08;*start_rtn)(void*),void *restrict arg)函数功能 pthread_create是UNIX环境…...

编程日记 2023/4/21 21:24:38

C++ 标准模板库（Standard Template Library，STL）

✅作者简介&#xff1a;人工智能专业本科在读&#xff0c;喜欢计算机与编程&#xff0c;写博客记录自己的学习历程。 &#x1f34e;个人主页&#xff1a;小嗷犬的个人主页 &#x1f34a;个人网站&#xff1a;小嗷犬的技术小站 &#x1f96d;个人信条&#xff1a;为天地立心&…...

编程日记 2023/5/29 20:45:56

一个寄存器的bit2 bit3位由10修改成11，C示例

方法1&#xff1a; 如果需要将一个寄存器中的 bit2 和 bit3 两个位从 11 修改为 10&#xff0c;可以使用如下的 C 语言代码实现&#xff1a; // 将寄存器的 bit2 和 bit3 位从 11 修改为 10 volatile uint32_t *reg_addr (volatile uint32_t *)0x12345678; // 假设寄存器地址…...

编程日记 2023/4/21 21:14:35

【洛谷】P1631 序列合并

【洛谷】 P1631 序列合并 题目描述 有两个长度为 N N N 的单调不降序列 A , B A,B A,B&#xff0c;在 A , B A,B A,B 中各取一个数相加可以得到 N 2 N^2 N2 个和&#xff0c;求这 N 2 N^2 N2 个和中最小的 N N N 个。 输入格式 第一行一个正整数 N N N&#xff1b; 第二…...

编程日记 2023/4/21 21:09:34

个人自动化技能库构建指南：从Python脚本到Cron定时任务

1. 项目概述&#xff1a;一个为“摸鱼”场景设计的自动化技能库最近在GitHub上看到一个挺有意思的项目&#xff0c;叫my-copaw-skill。光看这个名字&#xff0c;就透着一股子“打工人”的幽默感——“copaw”这个词&#xff0c;我琢磨着应该是“copilot”&#xff08;副驾驶/助…...

编程新知 2026/5/17 10:53:18

如何免费解锁WeMod专业版：2026年终极完整指南

如何免费解锁WeMod专业版&#xff1a;2026年终极完整指南 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/gh_mirrors/we/Wand-Enhancer 还在为WeMod专业版的高昂费用而烦恼吗&#xf…...

编程新知 2026/5/17 9:33:24

低温预警！固化慢、易开裂……密封胶冬季施工手册

低温预警！固化慢、易开裂……密封胶冬季施工手册 硅酮耐候密封胶主要作用是保障幕墙的气密性、水密性。其出现问题，可能会导致耐候密封失效，从而造成幕墙漏水漏气，影响幕墙的正常使用。耐候密封胶由于考虑到现场施工，几乎都是单组分硅酮密封胶产品。进入冬季，气候变化明…...

编程新知 2026/5/17 9:06:18

从TPM到机密计算：远程证明技术原理与zap1项目实践指南

1. 项目概述与核心价值最近在整理一些零散的学习笔记时&#xff0c;发现了一个挺有意思的项目&#xff0c;叫Frontier-Compute/zap1-learning-attestation。乍一看这个标题&#xff0c;可能有点让人摸不着头脑&#xff0c;尤其是对于刚接触可信计算或者硬件安全领域的朋友来说。…...

编程新知 2026/5/17 8:04:29

基于RP2040与CircuitPython的HDMI倒计时器：RTC与DVI原生输出实践

1. 项目概述与核心价值如果你手头有一块带HDMI输出的微控制器开发板&#xff0c;比如Adafruit的Feather RP2040 DVI&#xff0c;又恰好需要一个能摆在桌面上、精确到秒的倒计时器&#xff0c;那么今天这个项目就是为你量身定做的。它不仅仅是一个简单的“Hello World”式显示应…...

编程新知 2026/5/17 6:55:20

基于LLM与视觉模型融合的智能体框架：从原理到工业质检实践

1. 项目概述&#xff1a;当AI学会“看”与“想”最近在探索AI与视觉结合的落地场景时&#xff0c;我深度体验了landing-ai/vision-agent这个项目。它不是一个简单的图像识别工具&#xff0c;而是一个试图让AI具备“视觉推理”能力的智能体框架。简单来说&#xff0c;它让AI不仅…...

编程新知 2026/5/17 6:06:19

U-Boot实战：FAT文件系统五大核心命令详解与应用

1. U-Boot与FAT文件系统基础认知 刚接触嵌入式开发时&#xff0c;我第一次在U-Boot环境下操作FAT文件系统就踩了个大坑——试图用ext4write命令操作FAT32格式的SD卡&#xff0c;结果系统直接报错"Unknown command"。这个经历让我深刻认识到&#xff1a;U-Boot对文件系…...

编程新知 2026/5/17 5:55:05

【2026年阿里巴巴集团暑期实习- 5月16日-算法岗-第一题- 分组计数】（题目+思路+JavaC++Python解析+在线测试)

题目内容 给定 nnn 个人的权值序列 a1,a2,…,ana_1,a_2,\dots,a_na...

编程新知 2026/5/17 5:02:17

知乎API完全指南：用Python轻松获取知乎数据的5个核心技巧

知乎API完全指南&#xff1a;用Python轻松获取知乎数据的5个核心技巧 【免费下载链接】zhihu-api Zhihu API for Humans 项目地址: https://gitcode.com/gh_mirrors/zh/zhihu-api 在当今数据驱动的时代&#xff0c;知乎数据采集和Python API开发已成为获取高质量中文知识…...

编程新知 2026/5/17 4:22:38

Deep Lake：AI数据湖与向量数据库一体化管理实践

1. 项目概述&#xff1a;当数据湖遇上深度学习如果你正在构建一个AI应用&#xff0c;无论是图像识别、自然语言处理还是多模态模型&#xff0c;数据管理绝对是你绕不开的“硬骨头”。数据分散在各个文件夹、云存储、数据库里&#xff0c;格式五花八门&#xff0c;加载速度慢&am…...

编程新知 2026/5/17 4:18:14