当前位置：首页 > news >正文

Hadoop之HDFS分布式文件系统

news 2026/2/8 22:51:51

HDFS简介

Hadoop Distributed File System (HDFS): HDFS 是 Hadoop 的分布式文件系统，它设计用于存储大量数据，并提供高吞吐率的数据访问，通过将数据分块存储在多个节点上，实现数据的冗余存储和容错。

HDFS重要概念

HDFS 通过统一的命名空间目录树来定位文件；另外，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色（分布式本质是拆分，各司其职）。

典型的Master/Slave架构

HDFS集群往往是一个NameNode（HA架构会有两个NameNode,联邦机制）+多个DataNode组成。

分块存储（block机制）

HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定。

命名空间（NameSpace）

HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动。

Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被

Namenode 记录下来。

NameNode元数据管理

NameNode负责存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限ÿ

Hadoop之HDFS分布式文件系统

HDFS简介 Hadoop Distributed File System (HDFS): HDFS 是 Hadoop 的分布式文件系统，它设计用于存储大量数据，并提供高吞吐率的数据访问，通过将数据分块存储在多个节点上，实现数据的冗余存储和容错。 HDFS重要概念 HDFS 通过统一的命名空间目录树来定位文件；另外，它…...

编程日记 2024/6/12 7:30:47

插入删除单链表指定结点-偷天换日法

王道说下面的代码有BUG，比如当删除的结点p在最后一个元素时，p->nextNULL; So *q NULL; q->data就是错误的，我认为加个判断就行加个判断即可 /*看着是删除q了，从结果上看就是把p删除了偷天换日法*/ bool DeleteNode(LNod…...

编程日记 2024/6/12 7:29:46

MybatisPlus代码生成器使用案例

针对数据库中的实体类表，自动生成相关的pojo类，mapper，service等 1. Get-Started 基于mybatisplus，idea下载mybatisplus插件 sql文件 /*!40101 SET OLD_CHARACTER_SET_CLIENTCHARACTER_SET_CLIENT */; /*!40101 SET NAMES utf8 …...

编程日记 2024/6/12 7:28:45

数学公式编辑器（前端预研）

数学公式输入wangeditor： vue2使用wangeditor实现数学公式和富文本编辑器 mathjax文档：MathJax: 让前端支持数学公式 mathjax识别数学公式vue中使用mathjax识别latex数学公式数学公式编辑器：（少） https://github.com…...

编程日记 2024/6/12 7:25:43

架构设计-如何安全地传输密码

java web 项目中经常会遇到登录或注册的场景，如果查看浏览器的 network 网络请求时，用户的密码以明文方式传输，会造成很多安全隐患，这就涉及到密码如何安全传输的问题。数据加密的重要性不言而喻，通用的加密技术有哈希散列、对称加密、非对称加密。哈希散列哈希散列是…...

编程日记 2024/6/12 7:18:33

yarn add nprogress router文件前置路由添加启动后置路由添加关闭 router.beforeEach((to, from, next) > { NProgress.start() next() }) router.afterEach(() > { NProgress.done() }) App.vue 文件引入样式 <script setup> import "nprogress/npro…...

编程日记 2024/6/12 7:17:32

15、架构-可靠通讯之服务安全

概述我们已经了解了与具体架构形式无关的业界主流安全概念和技术标准（如TLS、JWT、OAuth 2等概念），在上一章节探讨了与微服务运作特点相适应的零信任安全模型。在本节中，我们将从实践和编码的角度出发，介绍在微服务时…...

编程日记 2024/6/12 7:16:30

web刷题记录（5）

[羊城杯 2020]easycon 进来以后就是一个默认测试页面， 在这种默认界面里，我觉得一般不会有什么注入点之类的，所以这里先选择用御剑扫扫目录看看有没有什么存在关键信息的页面扫了一半发现，很多都是和index.php文件有关&#xff0…...

编程日记 2024/6/12 7:15:29

Redis高并发高可用

1. 复制机制在分布式系统中，为了解决单点问题，通常会将数据复制多个副本部署到其他机器，以满足故障恢复和负载均衡等需求。Redis提供了复制功能，实现了相同数据的多个Redis副本。复制功能是高可用Redis的基础，后面的…...

编程日记 2024/6/12 7:14:28

【前端取不到cookie的的原因】http-only

某条cookie有http-only属性时，下面两种方法都取不到，还是改需求吧，别取了 1、 npm install js-cookie --save import Cookies from js-cookie let cookieValue Cookies.get(name)2、document.cookie...

编程日记 2024/6/12 7:12:25

从0到100：找搭子小程序开发笔记(一)

背景调查 “找搭子”小程序：能够解决人们在社交、休闲和约会方面的需求，提供方便快捷的方式来找到合适的伴侣或活动伙伴。许多人在社交场合中感到焦虑或不安，因此他们更倾向于使用在线平台来认识新的朋友或搭子。有些人可能生活在一个较小或…...

编程日记 2024/6/12 7:09:23

迷宫最短路径求解--c++

【代码】 #include<iostream> #include<queue> #include<stack> using namespace std; #define ROW 8 #define COL 8 //测试迷宫数据 int maze[ROW][COL] {{0,0,0,1,0,0,0,0},{0,1,0,1,0,1,0,1},{0,1,0,0,0,1,0,1},{0,1,0,1,1,1,0,1},{0,1,0,1,1,0,0,0},{0…...

编程日记 2024/6/12 7:08:22

SpringFramework总结

一.SpringFramework介绍 (一)Spring 广义上的 Spring 泛指以 Spring Framework 为基础的 Spring 技术栈。 Spring 已经不再是一个单纯的应用框架，而是逐渐发展成为一个由多个不同子项目（模块）组成的成熟技术，例如 Spring Frame…...

编程日记 2024/6/12 7:07:21

品牌与产品：消费者决策的经济逻辑与品牌宣传的战略意义

在当今日益全球化的经济环境中，品牌与产品之间的关系对于企业的成功与否起着至关重要的作用。然而，在消费者做出购买决策时，他们到底是在选择产品本身，还是在选择附着在产品之上的品牌价值？同样，当客户选择…...

编程日记 2024/6/12 7:06:20

MFC四种方法编写多线程

本文以四个demo为例，对MFC的多线程进行学习。学习的过程中写了四个demo，将其做成笔记，发布在csdn上面。 mfc多线程demo1 volatile BOOL m_bRun; CEdit* edit; void ThreadFunc(){CTime time;CString strTime;m_bRun true;while(m_bRun){ti…...

编程日记 2024/6/12 7:05:19

VPN简介

一、VPN 概念定义 VPN，即虚拟专用网络（Virtual Private Network），依靠ISP（Internet Service Provider）和NSP（Network Service Provider）在公共网络中建立的虚拟专用通信网络&#x…...

编程日记 2024/6/12 7:03:16

【C/C++】用C语言写一个数据仓库，存储和修改数据

这个代码实现了一个简单的数据仓库，其中数据被存储在一个3x3的二维数组中。用户可以通过控制台界面与这个数据仓库进行交互，可以选择查看数据或者修改数据。基础版源码： #include <stdio.h>#define HOUSESIZE 3 int arr[HOUSESIZE][…...

编程日记 2024/6/12 7:00:13

YOLO v5与YOLO v8框图比较

1. 介绍 YOLO (You Only Look Once) 是一个用于目标检测的卷积神经网络模型，以其高精度、高速度和易用性著称。YOLO v5 是目前最流行的 YOLO 版本之一，而 YOLO v8 是 YOLO 的最新版本。 2. 原理详解 YOLO 系列模型的基本原理是将目标检测任务转化为图…...

编程日记 2024/6/12 6:59:12

Redis集群（5）

集群原理节点通信通信流程在分布式存储系统中，维护节点元数据（如节点负责的数据、节点的故障状态等）是关键任务。常见的元数据维护方式分为集中式和P2P方式。Redis集群采用P2P的Gossip协议，这种协议的工作原理是节点之间不断…...

编程日记 2024/6/12 6:58:11

wordpress后台更新后前端没变化的解决方法

使用siteground主机的wordpress网站，会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后，网站没有变化的情况。不熟悉siteground主机的新手，遇到这个问题，就很抓狂，明明是哪都没操作错误&#x…...

编程新知 2026/2/7 23:18:37

深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录

ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。可以通过配置不同的记录提供程…...

编程新知 2026/2/8 4:37:06

el-switch文字内置

el-switch文字内置效果 vue <div style"color:#ffffff;font-size:14px;float:left;margin-bottom:5px;margin-right:5px;">自动加载</div> <el-switch v-model"value" active-color"#3E99FB" inactive-color"#DCDFE6"…...

编程新知 2026/1/26 10:00:16