HDFS 梳理
HDFS客户端
客户端作用
- 管理文件目录
- 文件系统操作
- 读写
客户端生成
配置项
配置
客户端状态
缓冲相关参数，读写缓冲
失败切换操作
推测执行??
NN引用
NNProxy
客户端关闭
关闭IO流
修改状态
关闭RPC连接
是否有多个RPC连接？
HDFS读
- 打开文件
- 构建输入流
输入流
FSInputStream (seek,pos)
DFSInputStream （缓存相关，读取相关）
HDFSInputStream （获取当前的数据节点，获取当前的块，获取所有的块等）
open方法
获取文件对应的块信息: ClientProtocol.getBlockLoactions();
NN端响应，需要给出排序规则。
获取块对应的长度信息:ClientDatanodeProtocol.getReplicaVisibleLength()方法。
read方法
最终的目的是从一个流读取一定长度的信息
- 网络读
- 短路读: 客户端和DN在同一个节点，DomainSocket
- 零拷贝读
调用blockSeekTo，(RPC)找到pos文件块信息，找到合适的datanode,构建BlockReader
readBuffer增加校验和重试逻辑
BlockReader.doRead方法进行实际的读取
HDFS写
正常的写步骤如下：
- 创建文件，返回DFSoutputStream
- 申请数据块，构建管道
- 写数据
- 关闭流，提交文件
故障恢复:
- 重发
- 复制
- 更新NN
相关文章：
HDFS 梳理
HDFS客户端 客户端作用 管理文件目录文件系统操作读写 客户端生成 配置项 配置 客户端状态 缓冲相关参数，读写缓冲 失败切换操作 推测执行?? NN引用 NNProxy 客户端关闭 关闭IO流 修改状态 关闭RPC连接 是否有多个RPC连接？ HDFS读 打开文件构…...
ChatGPT团队中，3个清华学霸，1个北大学霸，共9位华人
众所周知，美国硅谷其实有着众多的华人，哪怕是芯片领域，华为也有着一席之地，比如AMD 的 CEO 苏姿丰、Nvidia 的 CEO 黄仁勋 都是华人。 还有更多的美国著名的科技企业中，都有着华人的身影，这些华人ÿ…...
通过工具生成指定 类型 大小 文件
今天给大家介绍一个神器 首先 大家在开发过程中或许经常需要涉及到文件上传类的功能 需要测试文件过大 空文件等等清空 不同大小的文件 而这种文件大小是比较不好控制的 但大家可以下载我的资源 文件生成工具(可生成指定大小 类型文件) 下载下来里面就有一个 fileGeneration…...
超外差收音机的制作-电子线路课程设计-实验课
超外差收音机的制作 一、原理部分： 超外差收音机：超外差式收音机是将接收到的不同频率的高频信号全部变成一个固定的中频信号进行放大，因而电路对各种电台信号的放大量基本是相同的，这样可以使中放电路具有优良的频率特性。 超…...
TensorFlow 深度学习实战指南：1~5 全
原文：Hands-on Deep Learning with TensorFlow 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如…...
【数据结构】队列的实现
白日去如箭，达者惜今阳。 --朱敦儒目录 🚁前言： 🏝️一.队列的概念及结构 🌻二.队列各种功能的实现 🍍1.队列的初始化 🏝️2.队列…...
【数据库】— 无损连接、Chase算法、保持函数依赖
【数据库】— 无损连接、Chase算法 Chase算法Chase算法举例一种简便方法：分解为两个模式时无损连接和函数依赖的一个简单例子 Chase算法 形式化定义： 构造一个 k k k行 n n n列的表格，每行对应一个模式 R i ( 1 ≤ i ≤ k ) Ri (1≤i ≤ k)…...
用英语翻译中文-汉字英文翻译
中文转英语翻译 作为一款高效、准确的中文转英语翻译软件，我们的产品可以帮助全球用户更好地沟通和合作，实现跨文化交流。 在全球化的今天，中英文翻译已经成为商务、学术、娱乐等各个领域不可或缺的一部分。我们的中文转英语翻译软件是为了…...
瑞吉外卖项目——缓存优化
用户数量多，系统访问量大 频繁访问数据库，系统性能下降，用户体验差 环境搭建 maven坐标 在项目的pom.xml文件中导入spring data redis的maven坐标: <dependency><groupId>org.springframework.boot</groupId><arti…...
从头创建一个新的浏览器，这合理吗？
从头构建一个新浏览器？这如果是不是个天大的“伪需求”，便是一场开发者的噩梦！ 要知道，如果没有上百亿的资金和数百名研发工程师的投入，从头开始构建一个新的浏览器引擎，几乎是不可能的。然而SerenityOS系统…...
TypeScript泛型类型和接口
本节课我们来开始了解 TypeScript 中泛型类型的概念和接口使用。 一．泛型类型 1. 前面，我们通过泛型变量的形式来存储调用方的类型从而进行检查； 2. 而泛型也可以作为类型的方式存在，理解这一点，先了解下函数的…...
docker命令
1.运行 docker-compose up 2.查看命令 docker images 3.删掉docker镜像: docker rmi -f [id] docker卸载 1.杀死docker有关的容器： docker kill $(docker ps -a -q) 2.删除所有docker容器：docker rm $(docker ps -a -q) 3.删除所有docker镜像&…...
2023 年 3 月 NFT 月度报告
作者：Danielfootprint.network 数据来源：NFT Monthly Report 三月份的 NFT 市场上出现了两个有趣的趋势。一方面，Polygon 链尽管在二月份有所突破，达到了 NFT 总交易量的 4.2%，但于三月再次跌至 1% 以下，…...
【http】 get方法和Post方法区别；http和https
get方法和Post方法 get方法：通过url传参，回显输入的私密信息，不够私密 Post方法：通过正文传参，不会回显，一般私密性有保证。 一般如果上传的图片，音频比较大，推荐Post方法&#x…...
第三章 法的渊源与法的分类
目录 第一节 法的渊源的分类 一、法的渊源释义二、法的渊源种类 第二节 正式法源 一、正式法源的含义二、当代中国的正式法源三、正式法源的一般效力原则 第三节 非正式法源 一、当代中国的非正式法源 第四节 法的分类 一、法的一般分类二、法的特殊分类 第一节 法的渊源的…...
在Ubuntu18.04或者20.04下搭建edk2运行环境
#更新完之后依次执行下面两条命令 1.apt-get update 2.apt-get upgrade 如果执行之后出现源不能更新的问题，到/etc/apt/sources.list.d 下删除对应的ppa源重新更新即可解决 git clone https://github.com/tianocore/edk2.git cd edk2 git submodule update --init 如果git cl…...
多线程编程常用函数用法
一、多线程编程常用函数用法 1、pthread_create 头文件 #include<pthread.h>函数声明 int pthread_create(pthread_t*restrict tidp,const pthread_attr_t *restrict_attr,void*（*start_rtn)(void*),void *restrict arg)函数功能 pthread_create是UNIX环境…...
C++ 标准模板库（Standard Template Library，STL）
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…...
一个寄存器的bit2 bit3位由10修改成11，C示例
方法1： 如果需要将一个寄存器中的 bit2 和 bit3 两个位从 11 修改为 10，可以使用如下的 C 语言代码实现： // 将寄存器的 bit2 和 bit3 位从 11 修改为 10 volatile uint32_t *reg_addr (volatile uint32_t *)0x12345678; // 假设寄存器地址…...
【洛谷】P1631 序列合并
【洛谷】 P1631 序列合并 题目描述 有两个长度为 N N N 的单调不降序列 A , B A,B A,B，在 A , B A,B A,B 中各取一个数相加可以得到 N 2 N^2 N2 个和，求这 N 2 N^2 N2 个和中最小的 N N N 个。 输入格式 第一行一个正整数 N N N； 第二…...
【Linux】C语言执行shell指令
在C语言中执行Shell指令 在C语言中，有几种方法可以执行Shell指令： 1. 使用system()函数 这是最简单的方法，包含在stdlib.h头文件中： #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...
循环冗余码校验CRC码 算法步骤+详细实例计算
通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）࿰…...
为什么需要建设工程项目管理？工程项目管理有哪些亮点功能？
在建筑行业，项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升，传统的管理模式已经难以满足现代工程的需求。过去，许多企业依赖手工记录、口头沟通和分散的信息管理，导致效率低下、成本失控、风险频发。例如&#…...
深入理解JavaScript设计模式之单例模式
目录 什么是单例模式为什么需要单例模式常见应用场景包括 单例模式实现透明单例模式实现不透明单例模式用代理实现单例模式javaScript中的单例模式使用命名空间使用闭包封装私有变量 惰性单例通用的惰性单例 结语 什么是单例模式 单例模式（Singleton Pattern&#…...
Java - Mysql数据类型对应
Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...
基础测试工具使用经验
背景 vtune，perf, nsight system等基础测试工具，都是用过的，但是没有记录，都逐渐忘了。所以写这篇博客总结记录一下，只要以后发现新的用法，就记得来编辑补充一下 perf 比较基础的用法： 先改这…...
sipsak：SIP瑞士军刀！全参数详细教程！Kali Linux教程！
简介 sipsak 是一个面向会话初始协议 (SIP) 应用程序开发人员和管理员的小型命令行工具。它可以用于对 SIP 应用程序和设备进行一些简单的测试。 sipsak 是一款 SIP 压力和诊断实用程序。它通过 sip-uri 向服务器发送 SIP 请求，并检查收到的响应。它以以下模式之一…...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...
的打车小程序)
基于鸿蒙(HarmonyOS5)的打车小程序
1. 开发环境准备 安装DevEco Studio (鸿蒙官方IDE)配置HarmonyOS SDK申请开发者账号和必要的API密钥 2. 项目结构设计 ├── entry │ ├── src │ │ ├── main │ │ │ ├── ets │ │ │ │ ├── pages │ │ │ │ │ ├── H…...