一文带您全面认识 Hadoop 框架与三大核心组件（HDFS、MapReduce、YARN）

一文带您全面认识 Hadoop 框架与三大核心组件HDFS、MapReduce、YARN博主介绍致力于网络安全漏洞挖掘、攻防实战、Linux 内核系统底层原理与性能调优、区块链技术Web3 安全与智能合约审计、Python 语言应用自动化攻防工具开发、软件开发全栈安全开发等新一代信息技术领域的技术研究与干货分享坚持以极简篇幅承载硬核知识的创作理念为技术爱好者提供高效、深度、可落地的阅读体验。CSDN认证网络安全领域优质创作者、网络安全博客专家认证、阿里云专家博主。各大技术专栏推荐专栏名称专栏介绍网络安全攻防之道为网络安全从业者、白帽黑客与技术爱好者打造的攻防知识阵地。深度剖析漏洞利用与防御的技术细节实战演练渗透测试全流程输出可落地的攻防策略陪你在攻防对抗中持续进阶。Linux 系统运维从底层原理到企业级实战这里是 Linux 系统运维的实战修炼场从系统初始化到高可用架构从命令行魔术到自动化运维利器深度拆解 CentOS/Ubuntu 在企业级业务、云原生环境中的运维密码。带你穿透系统底层逻辑掌握性能调优、故障秒级定位、自动化脚本开发的硬核技能进阶成为能扛住业务压力的 Linux 运维专家【VulnHub 靶场攻防】从漏洞复现到实战渗透不管你是刚入门的渗透新人还是想强化实战能力的安全工程师都能在这儿找到匹配的靶场练手项目。我们聚焦可复现的漏洞利用技巧结合 Nmap、Metasploit、BurpSuite 等工具实战演示帮你把靶场经验转化为真实渗透能力一步步成长为能在实战中 “打怪升级” 的渗透高手博主年度总结与收获这里是旺仔 Sec 的创作成长日记作为 CSDN 认证的网络安全优质创作者我把每一年的技术深耕、创作思考、成长突破都浓缩在这儿 —— 从漏洞分析的技术沉淀到内容创作的经验复盘再到从工程师到博主的身份进阶每一篇总结都是 “技术探索 创作感悟” 的双料干货文章目录一文带您全面认识 Hadoop 框架与三大核心组件HDFS、MapReduce、YARN什么是Hadoop框架Hadoop的发展历史Hadoop的特点优势什么是分布式文件系统HDFS1.HDFS简介及架构2.HDFS分布式技术原理3.宕机情况下处理方案4.HDFS的优点及缺点什么是分布式计算框架MapReduce?1.MapReduce简介2.MapReduce工作原理一览3.MapReduce的本质4.MapReduce映射示例什么是集群资源管理器YARN1.YARN简介2.YARN的基本架构与任务流程什么是Hadoop框架大数据时代下针对大数据处理的新技术也在不断地开发和运用中并逐渐成为数据处理挖掘行业广泛使用的主流技术之一。在大数据时代Hadoop作为处理大数据的分布式存储和计算框架在国内外大、中、小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。Hadoop的发展历史Hadoop的特点优势什么是分布式文件系统HDFS1.HDFS简介及架构HDFS是以分布式进行存储的文件系统主要负责集群数据的存储与读取。HDFS是一个主/从Master/Slave体系架构的分布式文件系统。 HDFS架构如图所示。HDFS文件系统主要包含一个NameNode、一个SecondaryNameNode和多个DataNode。2.HDFS分布式技术原理HDFS作为一个分分布式系统可以划分成多个子系统或模块各自运行在不同的机器上子系统或模块之间通过网络通信进行协作实现最终的整体功能。利用多个节点共同协作完成一项或多项具体业务功能的系统即为分布式系统。分布式文件系统主要体现在3个方面。3.宕机情况下处理方案数据存储在文件系统中如果某个节点宕机了那么很容易造成数据流失那我们该如何处理呢❓1、冗余备份在数据存储的过程中对每个数据块都进行了副本备份副本个数可以自行设置。2、副本存放目前使用的策略是以存放3个副本dfs.replication3为例在同一机器的两个节点上各备份一个副本再在另一台机器的某个节点上存放一个副本前者可防止当该机器的某个节点宕机使可恢复数据后者则防止当某个机器宕机时可恢复数据。3、宕机处理①如果NameNode在预定的时间内没有收到心跳信息默认是1Omin将该DataNode从集群中移除。②当HDFS读取某个数据块时如果正好存储该数据块的某个节点宕机了那么客户端将会在存储该数据块的其他节点上读取数据块信息。当HDFS存储数据时如果需要存放数据的节点宕机那么HDFS将再重新分配一个节点给该数据块并备份宕机节点中的数据。4.HDFS的优点及缺点HDFS的优点HDFS的缺点1、不适合低延迟数据访问2、无法高效存储大量小文件3、不支持多用户写入及任意修改文件什么是分布式计算框架MapReduce?1.MapReduce简介MapReduce是Hadoop的核心计算框架是用于大规模数据集大于1TB并行运算的编程模型主要包括Map映射和Reduce规约两个阶段。MapReduce的核心思想是当启动一个MapReduce任务时Map端将会读取HDFS上的数据将数据映射成所需要的键值对类型并传至Reduce端。Reduce端接收Map端键值对类型的中间数据并根据不同键进行分组对每一组键相同的数据进行处理得到新的键值对并输出至HDFS。2.MapReduce工作原理一览一个完整的MapReduce过程包含数据的输入与分片、Map阶段数据处理、ShuffleSort阶段数据整合、Reduce阶段数据处理、数据输出等阶段。读取输入数据从HDFS分布式文件系统中读取的根据所设置的分片大小对文件重新分片Split。Map阶段数据将以键值对的形式被读入键的值一般为每行首字符与文件最初始位置的 偏移量即中间所隔字符个数值为该行的数据记录。根据具体的需求对键值对进行处理映射成新的键值对将新的键值对传输至 Reduce端。shuffleSort阶段将同一个Map中输出的键相同的数据先进行整合减少传输的数据量并且在整 合后将数据按照键进行排序。Reduce阶段针对所有键相同的数据对数据进行规约形成新的键值对。输出阶段将数据文件输出至HDFS输出的文件个数和Reduce的个数一致如果只有一个Reduce那么输出的只有一个数据文件默认命名为“part-r-00000”。3.MapReduce的本质将一组键值对K1,V1经过Map阶段映射成新的键值对K2,V2接着经过Shuffle/Sort阶段进行排序和整合最后经过Reduce阶段将整合后的键值对组进行规约处理输出新的键值对K3V3。4.MapReduce映射示例什么是集群资源管理器YARN1.YARN简介YARN是Hadoop的资源管理器提交应用至YARN上执行可以提高资源在集群的利用率加快执行速率。HadoopYARN的目的是使得Hadoop数据处理能力超越MapReduce。YARN的另一个目标就是拓展Hadoop使得YARN不仅可以支持MapReduce计算而且还可以很方便地管理如Hive、HBase、Pig、Spark/Shark等组件的应用程序。2.YARN的基本架构与任务流程YARN的基本组成结构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Client Application这4部分构成。ResourceManager(RM):一个全局的资源管理器负责整个系统的资源管理和分配, ResourceManager主要由两个组件构成即调度器Scheduler和应用程序 管理器Applications ManagerASM)。NodeManager(NM):每个节点上的资源和任务管理器。一方面会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态另一方面将接收并处 理来自ApplicationMaster的Container启动或停止等各种请求。ApplicationMaster(AM):与ResourceManager调度器协商以获取资源用Container表示。将得到的任务进行进一步的分配。 与NodeManager通信以启动或停止任务。监控所有任务运行状态并在任务运行失败时重新为任务申请资源并重启任务。Client Application:ClientApplication是客户端应用程序客户端将应用程序提交到RM时首先将创建一个Application上下文件对象再设置AM必需的资源请求信息最后提交至RM。3.YARN的工作流程‍♂️个人博客主页旺仔Sec的博客主页WeChat公众号鹏璃安全✍博主身份网络安全兼技能大赛工程师希望大家多多支持我们一起进步如果文章对你有帮助的话 欢迎评论 点赞 收藏 加关注各大技能大赛参考答案链接如下️软件测试技能大赛参考答案软件测试—单元自动化接口测试参考答案区块链技术应用技能大赛参考答案大数据应用开发职业院校竞赛答案参阅GZ100移动应用设计与开发参考答案✍GZ031应用软件系统开发参考答案☠网络安全职业技能大赛任务解析