当前位置： 首页 > news >正文

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

news 2026/3/31 21:01:45

1. Hadoop 是什么

  • Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  • 主要解决，海量数据的存储和海量数据的分析计算问题。
  • 广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。

2. Hadoop 的优势

  • 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
    在这里插入图片描述
  • 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
    在这里插入图片描述
  • 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务粗粒速度。
    在这里插入图片描述
  • 高容错性：能够自动将失败的任务重新分配。
    在这里插入图片描述

3. Hadoop 组成（面试重点）

在这里插入图片描述

4. HDFS 架构概述

HDFS（Hadoop Distributed File System）的架构概述。
在这里插入图片描述

  • NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
  • DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
  • Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

5. YARN架构

在这里插入图片描述

  • ResourceManager（RM）：整个集群资源（内存、CPU等）的老大。
  • NodeManager（NM）：单个节点服务器资源老大。
  • ApplicationMaster（AM）：单个任务运行的老大。
  • Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

6. MapReduce 架构

MapReduce将计算过程分为两个阶段：Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总
在这里插入图片描述

7. 大数据技术生态体系

在这里插入图片描述

相关文章：

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1. Hadoop 是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。 2. Hadoop 的优势 高可靠性：Hadoop底层维护多…...

编程日记 2023/8/29 15:25:08

问道管理：逾4600股飘红！汽车板块爆了，多股冲击涨停！

A股商场今天上午全体低开，但其后逐级上行，创业板指数上午收盘大涨超越3%，北向资金也完成净买入38亿元。 别的，A股商场半年报成绩发表如火如荼进行中，多家公司发表半年报后股价应声大涨，部分公司股价冲击涨停…...

编程日记 2023/8/29 15:24:08

Java 语言实现选择排序算法

【引言】 选择排序算法是一种简单但有效的排序算法。它的原理是每次从未排序的元素中选择最小（或最大）的元素，放在已排序的末尾（或开头），逐渐形成有序序列。本文将使用Java语言实现选择排序算法&#xff0c…...

编程日记 2023/8/29 15:23:06

【C语言每日一题】05. 输出保留12位小数的浮点数

题目来源：http://noi.openjudge.cn/ch0101/05/ 05 输出保留12位小数的浮点数 总时间限制: 1000ms 内存限制: 65536kB 问题描述 读入一个双精度浮点数，保留12位小数，输出这个浮点数。 输入 只有一行，一个双精度浮点数。 输出 …...

编程日记 2023/8/29 15:22:05

科大讯飞永久免费GPT入口来了！！！

讯飞GPT永久免费使用入口注册链接：讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞。 登录讯飞账号后，点击进入体验。 进入体验页面后，选择景点推荐。 笔者让其写一篇关于讯飞GPT介绍的文案。 讯飞GPT是一款由讯飞公司推出的人工智能语…...

编程日记 2023/8/29 15:21:04

亚马逊反馈和评论的区别

在亚马逊上，"反馈"（Feedback）和"评论"（Review）是两个不同的概念，它们分别用于描述购买者与商品或卖家之间的不同方面。 1、反馈（Feedback）： 亚马逊的…...

编程日记 2023/8/29 15:20:03

Linux 查看当前文件夹下的文件大小

1.直接查看: ll 或者 ls -la #查看文件大小，以kb为单位 ll#查看文件大小，包含隐藏的文件，以kb为单位 ls -la2.以 M 或者 G 为单位查看，根据文件实际大小进行合适的单位展示 du -sh *...

编程日记 2023/8/29 15:19:01

玩转 PI 系列-看起来像服务器的 ARM 开发板矩阵-Firefly Cluster Server

前言 基于我个人的工作内容和兴趣，想要在家里搞一套服务器集群，用于容器/K8s 等方案的测试验证。 考虑过使用二手服务器，比如 Dell R730, 还搞了一套配置清单，如下： Dell R7303.5 尺寸规格硬盘CPU: 2686v4*2 内存&a…...

编程日记 2023/8/29 15:18:00

《Flink学习笔记》——第六章 Flink的时间和窗口

6.1 时间语义 6.1.1 Flink中的时间语义 对于一台机器而言，时间就是系统时间。但是Flink是一个分布式处理系统，多台机器“各自为政”，没有统一的时钟，各自有各自的系统时间。而对于并行的子任务来说，在不同的节点&…...

编程日记 2023/8/29 15:16:59

nano主板扩大swap交换交换空间大小 /windows里远程传输文件/ssh远程登陆访问GUI界面报错

nano主板扩大swap交换交换空间大小 /windows里远程传输文件/ssh远程登陆访问GUI界面报错 1.扩容 在编译某些文件时由于nano主控内存空间小，在编译工作空间catkin_make时会卡住，因此需要扩容 sudo fallocate -l 13G /var/swapfile #1.新增swapfile 文…...

编程日记 2023/8/29 15:15:58

7个用于机器学习和数据科学的基本 Python 库

推荐：使用 NSDT场景编辑器 助你快速搭建3D应用场景 这篇文章针对的是刚开始使用Python进行AI的人，以及那些有经验的人，但对下一步要学习什么有疑问的人。我们将不时花点时间向初学者介绍基本术语和概念。如果您已经熟悉它们，我们鼓…...

编程日记 2023/8/29 15:14:56

Kafka 简介 + 学习笔记

消息队列 先说明消息队列是什么： 亚马逊： 消息队列是一种异步的服务间通信方式，适用于微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高…...

编程日记 2023/8/29 15:13:54

Mybatis小记

目录 Mybatis第一个程序 xml文件 测试类 错误排查 Mybatis第一个程序 1.搭建实验数据库 2.导入MyBatis相关jar包 3.编写MyBatis核心配置文件 4.编写MyBatis工具类 5.创建实体类、 6.编写Mapper接口类 7.编写Mapper.xml配置文件 8.编写测试类 对象传参只引用需要的属性就可…...

编程日记 2023/8/29 15:12:52

如何向BertModel增加字符

这里写自定义目录标题 看起来add_special_tokens和add_tokens加入的新token都不会被切分。...

编程日记 2023/8/29 15:11:50

copilot切换下一条提示的快捷键

注意是右ALT 右ALT] 触发提示 右ALT/ 参考 https://www.cnblogs.com/strengthen/p/17210356.html...

编程日记 2023/8/29 15:10:49

Mongodb 删除文档Delete与Remove的区别

db.collection.remove() 此方法已被 mongosh 弃用 已弃用的方法替代方法db.collection.remove()db.collection.deleteOne() db.collection.deleteMany() db.collection.findOneAndDelete() db.collection.bulkWrite() 5.0版本更改。 db.collection.remove(<query>,…...

编程日记 2023/8/29 15:09:46

Docker 的基本概念和优势

Docker 是一种开源的容器化平台&#xff0c;可以轻松部署、管理和运行应用程序。它基于 Linux 容器技术&#xff0c;可以将应用程序和其依赖项打包到一个可移植的容器中&#xff0c;从而使应用程序更易于部署、移植和扩展。 Docker 的主要优势包括&#xff1a; 1. 简化部署&a…...

编程日记 2023/8/29 15:08:43

基于 xhr 实现 axios

基于 xhr 实现 axios 上面我们讲到二次封装 axios &#xff0c;但是现在我们尝试完全脱离 axios&#xff0c;自己实现一个 axios&#xff0c;由于 axios 底层是基于 xhr 做了二次封装&#xff0c;所以我们也可以尝试一下。 xhr 二次封装 src/plugins/xhr.js /*** 请求拦截器…...

编程日记 2023/8/29 15:07:42

基于面向对象的大模型代码生成

众多周至&#xff0c;大模型非常依赖上下文&#xff0c;要让大模型生成比较好的代码&#xff0c;必须准确地给大模型传递上下文信息和指令。 痛点 目前大模型主要以自然语言进行交互&#xff0c;通过自然语言交互的好处是降低大模型的使用门槛&#xff0c;但是由于语言的不精确…...

编程日记 2023/8/29 15:06:41

易云维®FMCS厂务系统创造工厂全新的“数字低碳智能”应用场景

近年来&#xff0c;新一代信息技术的高速发展为传统工业与制造业领域带来了新的机遇。信息技术加持下的制造技术发展出了新的生产方式、产业形态与管理模式。通过搭建FMCS厂务系统进行数字化转型来实现数据互联互通与业务高效协同&#xff0c;助力企业向安全、绿色、节能、高效…...

编程日记 2023/8/29 15:05:39

Android 应用间文件共享：FileProvider 配置与实战解析

1. 为什么需要FileProvider&#xff1f; 在Android开发中&#xff0c;每个应用都有自己的私有存储空间&#xff0c;这些目录默认是其他应用无法访问的。这种设计保证了应用数据的安全性&#xff0c;但同时也带来了一个问题&#xff1a;当我们需要与其他应用共享文件时该怎么办&…...

编程新知 2026/3/31 19:14:53

告别重复编码：用快马AI一键生成团队协作网盘高效开发框架

最近在开发一个团队协作网盘系统时&#xff0c;发现很多基础功能其实都是重复性工作。比如权限管理、文件版本控制这些模块&#xff0c;每个项目都要从头写一遍。后来尝试用InsCode(快马)平台的AI生成功能&#xff0c;效率提升特别明显。这里分享下我的实践心得&#xff1a; 权…...

编程新知 2026/3/31 18:50:18

TheAmazingAudioEngine实战案例：构建完整的音乐制作应用

TheAmazingAudioEngine实战案例&#xff1a;构建完整的音乐制作应用 【免费下载链接】TheAmazingAudioEngine 项目地址: https://gitcode.com/gh_mirrors/th/TheAmazingAudioEngine TheAmazingAudioEngine是一款功能强大的音频处理框架&#xff0c;专为移动应用开发打造…...

编程新知 2026/3/31 18:05:37

如何用anyRTC-RTMP-OpenSource打造个性化直播数据源：自定义视频采集完整指南

如何用anyRTC-RTMP-OpenSource打造个性化直播数据源&#xff1a;自定义视频采集完整指南 【免费下载链接】anyRTC-RTMP-OpenSource RTMP 推流器&#xff0c;RTMP(HLS)秒开播放器&#xff0c;直播点播&#xff0c;跨平台&#xff08;Win,IOS,Android&#xff09;开源代码 项目…...

编程新知 2026/3/31 17:45:32

数据库智能运维：利用PyTorch LSTM预测数据库性能瓶颈

数据库智能运维&#xff1a;利用PyTorch LSTM预测数据库性能瓶颈 1. 引言&#xff1a;当数据库遇上AI预测 凌晨三点&#xff0c;运维工程师小李被刺耳的报警声惊醒——核心数据库又崩溃了。这已经是本月第三次因为性能瓶颈导致的业务中断&#xff0c;每次损失都超过百万。传统…...

编程新知 2026/3/31 17:39:29

别再死磕理论了！用Python+Pytorch实战多示例学习（MIL）图像分类，附完整代码

用PythonPytorch实战多示例学习图像分类&#xff1a;从数据到模型的完整指南 当你第一次听说"多示例学习"&#xff08;Multiple Instance Learning, MIL&#xff09;时&#xff0c;是不是也被那些抽象的理论弄得一头雾水&#xff1f;作为计算机视觉领域的重要技术&am…...

编程新知 2026/3/31 16:44:22

Ubuntu 18.04 + CUDA 11.3 下，手把手教你搞定 MinkowskiEngine 的编译安装（附避坑指南）

Ubuntu 18.04 CUDA 11.3 环境下的 MinkowskiEngine 编译实战指南 在3D点云处理和稀疏卷积领域&#xff0c;MinkowskiEngine 凭借其高效的稀疏张量计算能力已成为研究者的重要工具。然而&#xff0c;其复杂的依赖关系和编译过程常常让开发者望而却步。本文将基于 Ubuntu 18.04…...

编程新知 2026/3/31 16:28:16

探索MediaPipe：从零开始构建实时计算机视觉应用的完整指南

探索MediaPipe&#xff1a;从零开始构建实时计算机视觉应用的完整指南 【免费下载链接】mediapipe Cross-platform, customizable ML solutions for live and streaming media. 项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe MediaPipe是Google开源的一…...

编程新知 2026/3/31 16:24:09

BetterNCM Installer：3步完成网易云音乐插件框架安装

BetterNCM Installer&#xff1a;3步完成网易云音乐插件框架安装 【免费下载链接】BetterNCM-Installer 一键安装 Better 系软件 项目地址: https://gitcode.com/gh_mirrors/be/BetterNCM-Installer BetterNCM Installer 是一个专为网易云音乐PC版客户端设计的插件管理器…...

编程新知 2026/3/31 15:59:37

告别C盘爆满！手把手教你配置Miniforge，让所有虚拟环境乖乖待在D盘

彻底解放C盘空间&#xff1a;Miniforge虚拟环境全迁移至D盘实战指南 每次打开资源管理器看到C盘飘红的存储条&#xff0c;心跳都会漏半拍——这大概是Windows开发者最熟悉的焦虑场景。特别是当你发现conda创建的虚拟环境正悄无声息吞噬着宝贵的系统盘空间时&#xff0c;那种无…...

编程新知 2026/3/31 15:08:34