hadoop入门介绍及各组件功能运行关系
文章目录
- Hadoop 组成部分
- 1.HDFS
- 2.MapReduce 架构概述
- 3. yarn 架构概述
- 4.HDFS、YARN、MapReduce三者关系
Hadoop 组成部分
1.HDFS
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。
HDFS 架构概述
主要分为
- NameNode (mn):存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数文件权限)，以及每个文件的块列表和块所在的DataNode等。
- DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和
- Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份
2.MapReduce 架构概述
MapReduce 将计算过程分为两个阶段:Map 和 Reduce
1)Map 阶段并行处理输入数据
2)Reduce阶段对 Map 结果进行汇总
3. yarn 架构概述
4.HDFS、YARN、MapReduce三者关系
client 发送一个任务，有yarn去调度任务 ，由resourceManager 下发到nodeManger ，nodeManager在本地创建app mastr ，appMastr去调用MapReduce 的MapTask 去读取HDFS数据并输入 ，然后通过 Reduce Task对 Map Task 读取的数据进行汇总，最终将结果输出到 nameNode 中，同时保存到SecondaryNameNode中
相关文章：
hadoop入门介绍及各组件功能运行关系
文章目录Hadoop 组成部分1.HDFS2.MapReduce 架构概述3. yarn 架构概述4.HDFS、YARN、MapReduce三者关系Hadoop 组成部分 1.HDFS Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS 架构概述 主要分为 NameNode (mn):存储文件的元…...
（HP)新手引导使用react-shepherd
1，官方参数文档：https://shepherdjs.dev/docs/tutorial-02-usage.html 2，基本代码 import { ShepherdTour } from react-shepherd; import ./index.less; // 自己的样式文件，用来修改样式 import ./shepherd.less; // 将shephe…...
数据结构:栈和队列(Leetcode20. 有效的括号+225. 用队列实现栈+232. 用栈实现队列)
目录 一.数据结构--栈 1.栈的基本介绍 2.栈的实现 二.数据结构--队列 1.队列的基本介绍 2.队列的实现 三.栈的运用(Leetcode20. 有效的括号225) 1.问题描述 2.问题分析 题解代码： 四.用两个队列实现栈(225. 用队列实现栈 - 力扣（Leetcode&a…...
22.2.19周赛双周赛（贪心、记忆化搜索...）
文章目录双周赛98[6359. 替换一个数字后的最大差值](https://leetcode.cn/problems/maximum-difference-by-remapping-a-digit/)[6361. 修改两个元素的最小分数](https://leetcode.cn/problems/minimum-score-by-changing-two-elements/)贪心排序[6360. 最小无法得到的或值](ht…...
2023最新软件测试面试题（带答案）
1. 请自我介绍一下(需简单清楚的表述自已的基本情况，在这过程中要展现出自信，对工作有激情，上进，好学) 面试官您好，我叫###，今年26岁，来自江西九江，就读专业是电子商务，毕…...
【C++】类型转换方法
本篇博客让我们来见识一下C中新增的类型转换方法 文章目录1.C语言中类型转换2.C中的强制类型转换2.1 static_cast2.2 reinterpret_cast2.3 const_castvolatile关键字2.4 dynamic_cast3.C强制类型转换的作用4.RTTI1.C语言中类型转换 在C语言中，类型转换有下面两种形…...
100亿级订单怎么调度，来一个大厂的极品方案
背景 超时处理，是一个很有技术难度的问题。 所以很多的小伙伴，在写简历的时候，喜欢把这个技术难题写在简历里边， 体现自己高超的技术水平。 在40岁老架构师 尼恩的读者交流群(50)中，尼恩经常指导大家 优化简历。 最…...
C++性能白皮书
最近看完了《C性能白皮书》，这本书列出了一些性能优化的思路，不过只是一些指引，没有讲具体细节，我整理出了其中的关键点分享给大家： 硬件篇 作为一个程序员，想要性能优化，最好要了解些硬件&…...
华为OD机试 - 黑板上色 | 机试题算法思路 【2023】
最近更新的博客 华为OD机试 - 简易压缩算法（Python） | 机试题算法思路 【2023】 华为OD机试题 - 获取最大软件版本号（JavaScript） 华为OD机试 - 猜字谜（Python） | 机试题+算法思路 【2023】 华为OD机试 - 删除指定目录（Python） | 机试题算法思路 【2023】 华为OD机试 …...
如何在六秒内吸引观众的注意力
根据《2022国民专注力洞察报告》显示，当代人的连续专注时长，已经从2000年的12秒，下降到了现在的8秒。对于这个事实你可能难以相信，实际上这意味着，大多数互联网用户跳到一些页面上时，可能眼皮都不眨一下就离…...
FreeRTOS与UCOSIII任务状态对比
FreeRTOS任务状态 1、运行态 正在运行的任务，正在使用处理器的任务。 单核处理器中任何时候都有且只有一个任务处于运行态。 2、就绪态 已经准备就绪（非阻塞或挂起），可以立即运行但还没有运行的任务。 正在等待比自己高优先级…...
小程序 npm sill idealTree buildDeps 安装一直没反应
目录 一、问题 二、解决 1、删除.npmsrc 、清除缓存 2、更换镜像源 3、最终检测 一、问题 记录：今天npm 一直安装不成功 显示：sill idealTree buildDeps 我的版本： 我百度到换镜像源安装方法，但我尝试后，依然…...
GPT系列详解：初代GPT
本文详细解读了OpenAI公司在2018年6月发布的论文《Improving Language Understanding by Generative Pre-Training》，它其中介绍的算法也就是后来人们说的GPT。本文借鉴了李沐的这个视频，感兴趣的同学可以移步观看大神的讲解。 目录引言GPT方法无监督预训…...
为什么要使用数据库
数据保存在内存优点：存取速度快缺点：数据不能永久保存数据保存在文件优点：数据永久保存缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便数据保存在数据库1）数据永久保存2&a…...
【单目标优化算法】海鸥优化算法（Matlab代码实现）
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...
筑基六层 —— 整型提升及实用调式技巧
目录 一.修炼必备 二. 整型提升 三.实用调式技巧 一.修炼必备 1.入门必备：VS2019社区版，下载地址：Visual Studio 较旧的下载 - 2019、2017、2015 和以前的版本 (microsoft.com) 2.趁手武器：印象笔记/有道云笔记 3.修炼秘籍&…...
后端前端文件传输2中传出模式
base64文件传输 app.route(/download, methods[get]) def hello_as(): # 数据 id request.args.get("id") cur g.db.cursor() cur.execute(fselect name,grade,commentNum,cityName,sceneryThemeName from dataList where cityId? , (id,)) …...
【ZOJ 1067】Color Me Less 题解（vector+开方）
问题 颜色缩减是从一组离散颜色到较小颜色的映射。这个问题的解决方案需要在标准的24位RGB颜色空间中执行这样的映射。输入由十六个RGB颜色值的目标集合和要映射到目标集合中最接近的颜色的任意RGB颜色集合组成。为了我们的目的，RGB颜色被定义为有序三元组ÿ…...
凌恩生物经典文章：孟德尔诞辰200周年，Nature Genetics礼献豌豆高质量精细图谱
本期为大家分享的文章是2022年发表在《Nature Genetics》上的一篇文章“Improved pea reference genome and pan-genome highlight genomic features and evolutionary characteristics”，作者通过结合三代pacbio测序、染色体构象捕获（Hi-C）测…...
进程间通信（二）/共享内存
⭐前言：在前面的博文中分析了什么的进程间通信和进程间通信的方式之一：管道（匿名管道和命名管道）。接下来分析第二种方式：共享内存。 要实现进程间通信，其前提是让不同进程之间看到同一份资源。所谓共享内存…...
ADB推送文件到指定路径解析
您执行的命令 adb push ota.zip /sdcard/Download 中，目标路径 /sdcard/Download 是您显式指定的，因此 ADB 会直接将文件推送到此位置。具体过程如下： 1. 命令结构解析 adb push：ADB 的推送指令。ota.zip：本地计算机上…...
如何优化微信小程序中渲染带有图片的列表（二进制流存储方式的图片存在本地数据库）
方法一：对列表的获取进行分页处理 实现方法： 前端请求（需要向后端传两个参数，pageIndex是获取第几页是从0开始，pageSize是这一页需要获取多少个数据） 后端接口实现（因为这里是通过参数拼接请求…...
行为型：状态模式
目录 1、核心思想 2、实现方式 2.1 模式结构 2.2 实现案例 3、优缺点分析 4、适用场景 5、注意事项 1、核心思想 目的：将状态相关逻辑封装到独立的类中，消除复杂的条件分支，状态的切换由具体状态类自身管理 举例： 1>…...
Unity 游戏优化（持续更新中...）
垃圾回收 是什么？ 垃圾回收（Garbage Collection）GC 工作机制 1、Unity 为用户生成的代码和脚本采用了自动内存管理。 2、小块数据（如值类型的局部变量）分配在栈上。大块数据和长期存储分配在托管堆上。 3、垃圾收集…...
热门大型语言模型（LLM）应用开发框架
我们来深入探索这些强大的大型语言模型（LLM）应用开发框架，并且我会尝试用文本形式描述一些核心的流程图，帮助您更好地理解它们的工作机制。由于我无法直接生成图片，我会用文字清晰地描述流程图的各个步骤和连接。 Lang…...
ESP8266+STM32 AT驱动程序,心知天气API 记录时间: 2025年5月26日13:24:11
接线为 串口2 接入ESP8266 esp8266.c #include "stm32f10x.h"//8266预处理文件 #include "esp8266.h"//硬件驱动 #include "delay.h" #include "usart.h"//用得到的库 #include <string.h> #include <stdio.h> #include …...
多模态大语言模型arxiv论文略读（九十九）
PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects ➡️ 论文标题：PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects ➡️ 论文作者：Junyi Li, Junfeng Wu, Weizhi Zhao, Song Bai, Xiang Bai ➡️ 研究机构…...
UE5 Niagara 如何让四元数进行旋转
Axis Angle中，X,Y,Z分别为旋转的轴向，W为旋转的角度，在这里旋转角度不需要除以2，因为里面已经除了，再将计算好的四元数与要进行旋转的四元数进行相乘，结果就是按照原来的角度绕着某一轴向旋转了某一角度...
如何把 Microsoft Word 中所有的汉字字体替换为宋体？
Ctrl H ，然后，点击更多，勾选使用通配符，查找内容中填入 [一-龥]{1,}， 这是 Word 通配符匹配汉字的经典写法（匹配 Unicode 范围内的 CJK 汉字）。 然后， “替换为”留空，点…...
【node】Express创建服务器
Express是基于Node.js平台，快速、开放、极简的Web开发框架。基于http的express是专门用来创建web服务器的，可以极大的提高开发效率。 Express的创建的服务器 1 web网站服务器 专门对外提供web网页资源的服务器 2 Api接口服务器 专门对外提供Api接口的服…...