hadoop入门介绍及各组件功能运行关系

Hadoop 组成部分

1.HDFS

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

HDFS 架构概述
主要分为

• NameNode (mn):存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数文件权限)，以及每个文件的块列表和块所在的DataNode等。
• DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和
• Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份
  

2.MapReduce 架构概述

MapReduce 将计算过程分为两个阶段:Map 和 Reduce
1)Map 阶段并行处理输入数据
2)Reduce阶段对 Map 结果进行汇总

3. yarn 架构概述

4.HDFS、YARN、MapReduce三者关系

client 发送一个任务，有yarn去调度任务 ，由resourceManager 下发到nodeManger ，nodeManager在本地创建app mastr ，appMastr去调用MapReduce 的MapTask 去读取HDFS数据并输入 ，然后通过 Reduce Task对 Map Task 读取的数据进行汇总，最终将结果输出到 nameNode 中，同时保存到SecondaryNameNode中