当前位置：首页 > news >正文

HDFS写入数据的流程图

news 2026/1/16 1:18:12

1.客户端向namenode发送请求，请示写入数据

2.namenode接受请求后，判断这个用户是否有写入权限，如果不具备直接报错；如果有写入权限，接着判断在要写入的目录下是否已经存在这个文件，如果存在，直接报错，如果不存在，通知客户端可以上传

3.客户端对文件进行切分，形成block块

4.客户端请求第一个block块，存储在哪些地方

5.namenode根据机架感知原理，网络拓扑关系，副本机制找到相应的可以上传的datanode的连接列表，返回给客户端

6.在连接列表中选择第一台datanode进行连接并建立管道，让第一台与第二台连接，第二台与第三台连接形成一个管道

7.客户端通过数据包（64kb）的形式发送数据，当第一台接受数据后，然后将数据转发给第二台，第二台接受完，第二台数据再把数据发送给第三台

8.当最后一个接受请求后，建立一个反向的应答队列，当每个节点都将数据包接收以后，反向给予应答响应（ack确认机制）

9.数据开始源源不断的发送数据，当第一个block块发送完成之后，客户端重新请求namenode，获取第二个block块应该存放在哪些datanode中，接着从第五步开始执行，直到所有的block块全部写入完成

HDFS写入数据的流程图

1.客户端向namenode发送请求，请示写入数据 2.namenode接受请求后，判断这个用户是否有写入权限，如果不具备直接报错；如果有写入权限，接着判断在要写入的目录下是否已经存在这个文件，如果存在，直…...

编程日记 2024/8/9 0:45:53

【Material-UI】使用指南：快速入门与核心功能解析

文章目录一、快速入门1.1 安装和导入1.2 组件的独立性二、全局设置2.1 响应式元标签2.2 CssBaseline2.3 默认字体三、响应式设计3.1 Grid系统四、最佳实践4.1 组件的一致性4.2 性能优化4.3 可访问性五、总结 Material-UI是一个功能强大且灵活的React UI框架，为…...

编程日记 2024/8/9 0:42:51

【Java 第十三篇章】MyBatis 持久化框架的介绍

一、MyBatis 的历史 MyBatis 的前身是 iBATIS，它最早在 2001年由 Clinton Begin 发起。iBATIS 在早期就因其简单易用和灵活的特性受到了开发者的关注。随着时间的推移，iBATIS 不断发展和改进。然而，在 2010年，iBATIS 项目团队决…...

编程日记 2024/8/9 0:40:49

AI新应用：概要设计与详细设计自动生成解决方案

近日，CoCode旗下的Co-Project智能项目管理平台V4.0.0升级发布，新增AI生成概要设计和AI生成详细设计功能，大大提高了设计的效率和质量。 CoCode旗下的Co-Project智能项目管理平台一键智绘蓝图自现平台设计板块新增概要设计功能，…...

编程日记 2024/8/9 0:39:48

【物联网设备端开发】使用QEMU模拟ESP硬件运行ESP-IDF

目录一，开发环境搭建 1.1 安装ESP-IDF 1.2 安装vscode插件 1.3 在ESP-IDF插件配置ESP-IDF开发配置 1.4 下载IOTDeviceSDK 设备端开发代码 1.5 通过ESP-IDF插件编译好镜像 1.6 构建QEMU docker镜像 1.7 使用QEMU容器运行镜像二，搭建QEMU环境步…...

编程日记 2024/8/9 0:36:44

#子传父父传子props和emits #封装的table #vue3

#子传父&父传子props和emits #封装的table #vue3 父组件：emits defineEmits props 子组件： 子组件 <template><el-table v-bind"$attrs" ref"innerTableRef" v-loading"loading" border :data"tabl…...

编程日记 2024/8/9 0:35:43

尚硅谷谷粒商城项目笔记——四、使用docker安装redis【电脑CPU：AMD】

四、使用docker安装redis 注意： 因为电脑是AMD芯片，自己知识储备不够，无法保证和课程中用到的环境一样，所以环境都是自己根据适应硬件软件环境重新配置的，这里的虚拟机使用的是VMware。在解决了 Docker 安装的问题之…...

编程日记 2024/8/9 0:34:42

Java在无人驾驶方向的就业方向

在无人驾驶领域，Java作为一种主流编程语言，尽管不是最常见的选择（例如，C和Python通常更受欢迎），但它仍然有很多应用场景和就业机会。以下是一些Java在无人驾驶方向的就业方向： 1. 后台服务开发 …...

编程日记 2024/8/9 0:30:37

机器学习中的关键距离度量及其应用

引言在当今的数据驱动世界中，机器学习算法扮演着至关重要的角色，它们在图像分类、面部识别、在线内容审核、零售目录优化和推荐系统等多个领域发挥着重要作用。这些算法的核心在于它们能够识别和利用数据之间的相似性。而实现这一点的关键，…...

编程日记 2024/8/9 0:29:35

Redis中缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题

目录 1.什么是缓存雪崩1.1 导致雪崩的原因1.2 如何解决 2.什么是缓存穿透2.1 导致穿透的原因2.2 如何解决 3.什么是缓存预热3.1 如何解决 4.什么是缓存降级4.1 缓存降级的目的4.2 解决方案4.3 服务降级的目的 5.缓存更新 1.什么是缓存雪崩就是存储在缓存里面的大量数据&#…...

编程日记 2024/8/9 0:28:35

【C++】vector 的模拟实现

📢博客主页：https://blog.csdn.net/2301_779549673 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ 📢本文由 JohnKi 原创，首发于 CSDN🙉 📢未来很长&#…...

编程日记 2024/8/9 0:27:34

【C++】模版详解

1、概念 C模版分两类：函数模版和类模版 1）函数模板的格式 template <class 形参名，class 形参名，......> 返回类型函数名(参数列表) {函数体 }例如： template <class T> void swap(T& a, T& b…...

编程日记 2024/8/9 0:24:29

应用商店故障（UOS系统）

应用商店故障（UOS系统） 1. 安装应用商店内的应用无法下载，更新系统时提示依赖关系被破坏，怎么办？ 问题描述安装应用商店内的应用无法下载，更新系统时均提示依赖关系被破坏解决方案 1、可先建议用户尝试修…...

编程日记 2024/8/9 0:22:27

8月8号前端日报：web在线进行eps32固件升级

最近几天在开发固件更新的功能，学习了不少相关的知识。在arduino中对esp32进行固件更新，本质是使用esp官方的esptool，使用一个python exe程序，执行一段脚本，该脚本会将固件文件按照对应的位置来写入到esp芯片中。一共…...

编程日记 2024/8/9 0:18:23

win7安装python3.10

到这下载 PythonWin7/3.10.1 at master adang1345/PythonWin7 GitHub...

编程日记 2024/8/9 0:17:22

【Liunx】线程与进程的经典面试题总结

在这个浮躁的时代只有自律的人才能脱颖而出 -- 《觉醒年代》线程与进程的面试题总结 1 简述什么是LWP2 简述LWP与pthread_create创建的线程之间的关系3 简述轻量级进程ID与进程ID之间的区别4 请简述什么是线程互斥，为什么需要互斥5 简述你了解的进程间通信方式…...

编程日记 2024/8/9 0:14:19

Python中的 `break` 语句：掌握循环控制的艺术

Python中的 break 语句：掌握循环控制的艺术下滑即可查看博客内容 🌈 欢迎莅临我的个人主页 👈这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地！🎇 🎓 博主简介：985高校的普通本硕…...

编程日记 2024/8/9 0:13:18

1. Array.prototype.with with 方法返回一个新数组，替换指定索引处的元素 const arr [a, b, c, d]; const res arr.with(2, f); console.log(res);//[a, b, f, d] console.log(arr);//[a, b, c, d] Array.prototype.toSorted 2. Array.prototype.toSorted toS…...

编程日记 2024/8/9 0:10:15

Linux 中的特殊文件权限：SUID、GUID 和 Sticky

注： 机翻，未校。 Special File Permissions in Linux: SUID, GUID and Sticky Bit You see an s instead of x in the file permissions? Linux has some special file permissions called SUID, GUID and Sticky Bit. Know more about them. 在文件权…...

编程日记 2024/8/9 0:09:13

2024 某公司python 面试真题

Q: Can the type of options or labels of switch-case be ﬂoating? 在C语言中，switch-case语句的标签必须是整数类型，不能是浮点型。而在Python中，没有switch-case语句，但是可以使用字典来实现类似的功能，而字典的键…...

编程日记 2024/8/9 0:08:12

微软PowerBI考试 PL300-选择 Power BI 模型框架【附练习数据】

微软PowerBI考试 PL300-选择 Power BI 模型框架 20 多年来，Microsoft 持续对企业商业智能 (BI) 进行大量投资。 Azure Analysis Services (AAS) 和 SQL Server Analysis Services (SSAS) 基于无数企业使用的成熟的 BI 数据建模技术。同样的技术也是 Power BI 数据…...

编程新知 2026/1/15 5:24:50

AI书签管理工具开发全记录（十九）：嵌入资源处理

1.前言 📝 在上一篇文章中，我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源，方便后续将资源打包到一个可执行文件中。 2.embed介绍 🎯 Go 1.16 引入了革命性的 embed 包，彻底改变了静态资源管理的…...

编程新知 2026/1/15 5:39:22

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2025/11/27 23:47:29

Docker 本地安装 mysql 数据库

Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ；并安装。基础操作不再赘述。打开 macOS 终端，开始 docker 安装mysql之旅第一步 docker search mysql 》〉docker search mysql NAME DE…...

编程新知 2026/1/15 5:04:32