当前位置： 首页 > news >正文

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

news 2025/7/3 10:51:32

1. Hadoop 是什么

  • Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  • 主要解决，海量数据的存储和海量数据的分析计算问题。
  • 广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。

2. Hadoop 的优势

  • 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
    在这里插入图片描述
  • 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
    在这里插入图片描述
  • 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务粗粒速度。
    在这里插入图片描述
  • 高容错性：能够自动将失败的任务重新分配。
    在这里插入图片描述

3. Hadoop 组成（面试重点）

在这里插入图片描述

4. HDFS 架构概述

HDFS（Hadoop Distributed File System）的架构概述。
在这里插入图片描述

  • NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
  • DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
  • Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

5. YARN架构

在这里插入图片描述

  • ResourceManager（RM）：整个集群资源（内存、CPU等）的老大。
  • NodeManager（NM）：单个节点服务器资源老大。
  • ApplicationMaster（AM）：单个任务运行的老大。
  • Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

6. MapReduce 架构

MapReduce将计算过程分为两个阶段：Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总
在这里插入图片描述

7. 大数据技术生态体系

在这里插入图片描述

相关文章：

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1. Hadoop 是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。 2. Hadoop 的优势 高可靠性：Hadoop底层维护多…...

编程日记 2023/8/29 15:25:08

问道管理：逾4600股飘红！汽车板块爆了，多股冲击涨停！

A股商场今天上午全体低开，但其后逐级上行，创业板指数上午收盘大涨超越3%，北向资金也完成净买入38亿元。 别的，A股商场半年报成绩发表如火如荼进行中，多家公司发表半年报后股价应声大涨，部分公司股价冲击涨停…...

编程日记 2023/8/29 15:24:08

Java 语言实现选择排序算法

【引言】 选择排序算法是一种简单但有效的排序算法。它的原理是每次从未排序的元素中选择最小（或最大）的元素，放在已排序的末尾（或开头），逐渐形成有序序列。本文将使用Java语言实现选择排序算法&#xff0c…...

编程日记 2023/8/29 15:23:06

【C语言每日一题】05. 输出保留12位小数的浮点数

题目来源：http://noi.openjudge.cn/ch0101/05/ 05 输出保留12位小数的浮点数 总时间限制: 1000ms 内存限制: 65536kB 问题描述 读入一个双精度浮点数，保留12位小数，输出这个浮点数。 输入 只有一行，一个双精度浮点数。 输出 …...

编程日记 2023/8/29 15:22:05

科大讯飞永久免费GPT入口来了！！！

讯飞GPT永久免费使用入口注册链接：讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞。 登录讯飞账号后，点击进入体验。 进入体验页面后，选择景点推荐。 笔者让其写一篇关于讯飞GPT介绍的文案。 讯飞GPT是一款由讯飞公司推出的人工智能语…...

编程日记 2023/8/29 15:21:04

亚马逊反馈和评论的区别

在亚马逊上，"反馈"（Feedback）和"评论"（Review）是两个不同的概念，它们分别用于描述购买者与商品或卖家之间的不同方面。 1、反馈（Feedback）： 亚马逊的…...

编程日记 2023/8/29 15:20:03

Linux 查看当前文件夹下的文件大小

1.直接查看: ll 或者 ls -la #查看文件大小，以kb为单位 ll#查看文件大小，包含隐藏的文件，以kb为单位 ls -la2.以 M 或者 G 为单位查看，根据文件实际大小进行合适的单位展示 du -sh *...

编程日记 2023/8/29 15:19:01

玩转 PI 系列-看起来像服务器的 ARM 开发板矩阵-Firefly Cluster Server

前言 基于我个人的工作内容和兴趣，想要在家里搞一套服务器集群，用于容器/K8s 等方案的测试验证。 考虑过使用二手服务器，比如 Dell R730, 还搞了一套配置清单，如下： Dell R7303.5 尺寸规格硬盘CPU: 2686v4*2 内存&a…...

编程日记 2023/8/29 15:18:00

《Flink学习笔记》——第六章 Flink的时间和窗口

6.1 时间语义 6.1.1 Flink中的时间语义 对于一台机器而言，时间就是系统时间。但是Flink是一个分布式处理系统，多台机器“各自为政”，没有统一的时钟，各自有各自的系统时间。而对于并行的子任务来说，在不同的节点&…...

编程日记 2023/8/29 15:16:59

nano主板扩大swap交换交换空间大小 /windows里远程传输文件/ssh远程登陆访问GUI界面报错

nano主板扩大swap交换交换空间大小 /windows里远程传输文件/ssh远程登陆访问GUI界面报错 1.扩容 在编译某些文件时由于nano主控内存空间小，在编译工作空间catkin_make时会卡住，因此需要扩容 sudo fallocate -l 13G /var/swapfile #1.新增swapfile 文…...

编程日记 2023/8/29 15:15:58

7个用于机器学习和数据科学的基本 Python 库

推荐：使用 NSDT场景编辑器 助你快速搭建3D应用场景 这篇文章针对的是刚开始使用Python进行AI的人，以及那些有经验的人，但对下一步要学习什么有疑问的人。我们将不时花点时间向初学者介绍基本术语和概念。如果您已经熟悉它们，我们鼓…...

编程日记 2023/8/29 15:14:56

Kafka 简介 + 学习笔记

消息队列 先说明消息队列是什么： 亚马逊： 消息队列是一种异步的服务间通信方式，适用于微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高…...

编程日记 2023/8/29 15:13:54

Mybatis小记

目录 Mybatis第一个程序 xml文件 测试类 错误排查 Mybatis第一个程序 1.搭建实验数据库 2.导入MyBatis相关jar包 3.编写MyBatis核心配置文件 4.编写MyBatis工具类 5.创建实体类、 6.编写Mapper接口类 7.编写Mapper.xml配置文件 8.编写测试类 对象传参只引用需要的属性就可…...

编程日记 2023/8/29 15:12:52

如何向BertModel增加字符

这里写自定义目录标题 看起来add_special_tokens和add_tokens加入的新token都不会被切分。...

编程日记 2023/8/29 15:11:50

copilot切换下一条提示的快捷键

注意是右ALT 右ALT] 触发提示 右ALT/ 参考 https://www.cnblogs.com/strengthen/p/17210356.html...

编程日记 2023/8/29 15:10:49

Mongodb 删除文档Delete与Remove的区别

db.collection.remove() 此方法已被 mongosh 弃用 已弃用的方法替代方法db.collection.remove()db.collection.deleteOne() db.collection.deleteMany() db.collection.findOneAndDelete() db.collection.bulkWrite() 5.0版本更改。 db.collection.remove(<query>,…...

编程日记 2023/8/29 15:09:46

Docker 的基本概念和优势

Docker 是一种开源的容器化平台&#xff0c;可以轻松部署、管理和运行应用程序。它基于 Linux 容器技术&#xff0c;可以将应用程序和其依赖项打包到一个可移植的容器中&#xff0c;从而使应用程序更易于部署、移植和扩展。 Docker 的主要优势包括&#xff1a; 1. 简化部署&a…...

编程日记 2023/8/29 15:08:43

基于 xhr 实现 axios

基于 xhr 实现 axios 上面我们讲到二次封装 axios &#xff0c;但是现在我们尝试完全脱离 axios&#xff0c;自己实现一个 axios&#xff0c;由于 axios 底层是基于 xhr 做了二次封装&#xff0c;所以我们也可以尝试一下。 xhr 二次封装 src/plugins/xhr.js /*** 请求拦截器…...

编程日记 2023/8/29 15:07:42

基于面向对象的大模型代码生成

众多周至&#xff0c;大模型非常依赖上下文&#xff0c;要让大模型生成比较好的代码&#xff0c;必须准确地给大模型传递上下文信息和指令。 痛点 目前大模型主要以自然语言进行交互&#xff0c;通过自然语言交互的好处是降低大模型的使用门槛&#xff0c;但是由于语言的不精确…...

编程日记 2023/8/29 15:06:41

易云维®FMCS厂务系统创造工厂全新的“数字低碳智能”应用场景

近年来&#xff0c;新一代信息技术的高速发展为传统工业与制造业领域带来了新的机遇。信息技术加持下的制造技术发展出了新的生产方式、产业形态与管理模式。通过搭建FMCS厂务系统进行数字化转型来实现数据互联互通与业务高效协同&#xff0c;助力企业向安全、绿色、节能、高效…...

编程日记 2023/8/29 15:05:39

超短脉冲激光自聚焦效应

前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应&#xff0c;这是一种非线性光学现象&#xff0c;主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场&#xff0c;对材料产生非线性响应&#xff0c;可能…...

编程新知 2025/6/30 10:59:47

Linux 文件类型，目录与路径，文件与目录管理

文件类型 后面的字符表示文件类型标志 普通文件&#xff1a;-&#xff08;纯文本文件&#xff0c;二进制文件&#xff0c;数据格式文件&#xff09; 如文本文件、图片、程序文件等。 目录文件&#xff1a;d&#xff08;directory&#xff09; 用来存放其他文件或子目录。 设备…...

编程新知 2025/6/30 8:13:12

ES6从入门到精通：前言

ES6简介 ES6&#xff08;ECMAScript 2015&#xff09;是JavaScript语言的重大更新&#xff0c;引入了许多新特性&#xff0c;包括语法糖、新数据类型、模块化支持等&#xff0c;显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var&#xf…...

编程新知 2025/6/15 16:19:15

进程地址空间（比特课总结）

一、进程地址空间 1. 环境变量 1 &#xff09;⽤户级环境变量与系统级环境变量 全局属性&#xff1a;环境变量具有全局属性&#xff0c;会被⼦进程继承。例如当bash启动⼦进程时&#xff0c;环 境变量会⾃动传递给⼦进程。 本地变量限制&#xff1a;本地变量只在当前进程(ba…...

编程新知 2025/6/17 10:09:07

vue3 字体颜色设置的多种方式

在Vue 3中设置字体颜色可以通过多种方式实现&#xff0c;这取决于你是想在组件内部直接设置&#xff0c;还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法&#xff1a; 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...

编程新知 2025/6/25 2:04:34

【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）

可以使用Sqliteviz这个网站免费编写sql语句&#xff0c;它能够让用户直接在浏览器内练习SQL的语法&#xff0c;不需要安装任何软件。 链接如下&#xff1a; sqliteviz 注意&#xff1a; 在转写SQL语法时&#xff0c;关键字之间有一个特定的顺序&#xff0c;这个顺序会影响到…...

编程新知 2025/6/26 7:32:06

TRS收益互换：跨境资本流动的金融创新工具与系统化解决方案

一、TRS收益互换的本质与业务逻辑 &#xff08;一&#xff09;概念解析 TRS&#xff08;Total Return Swap&#xff09;收益互换是一种金融衍生工具&#xff0c;指交易双方约定在未来一定期限内&#xff0c;基于特定资产或指数的表现进行现金流交换的协议。其核心特征包括&am…...

编程新知 2025/7/3 9:50:42

rnn判断string中第一次出现a的下标

# coding:utf8 import torch import torch.nn as nn import numpy as np import random import json""" 基于pytorch的网络编写 实现一个RNN网络完成多分类任务 判断字符 a 第一次出现在字符串中的位置 """class TorchModel(nn.Module):def __in…...

编程新知 2025/6/21 7:57:44

AI病理诊断七剑下天山，医疗未来触手可及

一、病理诊断困局&#xff1a;刀尖上的医学艺术 1.1 金标准背后的隐痛 病理诊断被誉为"诊断的诊断"&#xff0c;医生需通过显微镜观察组织切片&#xff0c;在细胞迷宫中捕捉癌变信号。某省病理质控报告显示&#xff0c;基层医院误诊率达12%-15%&#xff0c;专家会诊…...

编程新知 2025/6/21 11:59:00

在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案

这个问题我看其他博主也写了&#xff0c;要么要会员、要么写的乱七八糟。这里我整理一下&#xff0c;把问题说清楚并且给出代码&#xff0c;拿去用就行&#xff0c;照着葫芦画瓢。 问题 在继承QWebEngineView后&#xff0c;重写mousePressEvent或event函数无法捕获鼠标按下事…...

编程新知 2025/6/11 3:07:32