分布式系统框架hadoop3入门

分布式系统框架hadoop3入门 (qq.com)

Hadoop3作为分布式系统架构的重要基石，为大规模数据存储与处理提供了强大支持

基本信息

hadoop：一个存储和处理大数据的分布式系统框架

组成： HDFS（数据存储）、MapReduce（计算）、Yarn（资源调度）、Common（辅助工具）

HDFS：Hadoop Distributed File System，一个分布式文件系统；组成有NameNode（存储文件的元数据，类似目录索引），DataNode（存储文件块数据），Secondary NameNode(NameNode元数据备份）

YARN：Yet Another Resource Negotiator，另一种资源协调者，Hadoop 的资源管理器，组成有ResourceManager（管理集群资源）、NodeManager（管理单个节点资源）、ApplicationMaster（管理单个任务）、Container（封装任务需要的资源）

MapReduce：将计算过程分为两个阶段Map 和 Reduce，Map 阶段并行处理输入数据，Reduce 阶段对 Map 结果进行汇总

配置环境

三台虚机：安装vmvare，创建模板虚拟机h1，centos7.5，配置完虚机模板后，克隆三个虚机h2-h4，分别修改对应的ip地址和主机名

配置ip地址：vm设置VMnet8的子网ip和网关、内部虚机修改主机名和hosts文件，静态地址、window配置Adapter VMnet8 默认网关，DNS服务器

安装远程终端工具：Xshell，Xftp传输工具

模板虚机配置：

安装epel-release（需更换为阿里源）

关闭防火墙及开机自启、配置常用用户有root权限

/opt目录下创建文件夹module和software，一个安装软件，一个放软件包

卸载虚拟机自带的JDK

在h2安装JDK和hadoop

用XShell传输工具将安装包，导入到opt目录下面的software文件夹下面

解压安装包到/opt/module目录下

配置环境变量

测试是否安装成功

将在h2安装的JDK和hadoop分发到h3，h4

两个命令：scp（secure copy）安全拷贝、rsync远程同步工具，前者可以在虚机之间复制文件，后者增量复制，效率更高

xsync集群分发脚本：基于上述两个命令编写xsync编写集群分发脚本，声明了全局环境变量的路径的bin目录下

SSH无密登录配置：生成公钥和私钥,将公钥拷贝到要免密登录的目标机器上，每台机器都要生成，并拷贝到其他机器上

配置集群并启动

集群规划：h2放NameNode，h3放ResourceManager，h4放SecondaryNameNode

配置-修改配置文件

核心配置文件core-site.xml：指定NameNode的地址、指定hadoop数据的存储目录

HDFS配置文件hdfs-site.xml：指定NameNode（nn）的地址 web端访问地址、SecondaryNameNode（2nn） web端访问地址

YARN配置文件yarn-site.xml：指定MR走shuffle、指定ResourceManager的地址、环境变量的继承

MapReduce配置文件mapred-site.xml：指定MapReduce程序运行在Yarn上

在集群上分发配置好的Hadoop配置文件：xsync

启动

配置workers并同步

集群是第一次启动：在h2节点格式化NameNode

h2机器上启动HDFS：start-dfs.sh

h3机器上启动YARN：start-yarn.sh

Web端查看HDFS的NameNode、YARN的ResourceManager

测试上传文件和执行wordcount程序

配置历史服务器和日志聚集

配置历史服务器

配置mapred-site.xml：配置历史服务器端地址、历史服务器web端地址

分发配置并启动，web查看

配置日志聚集

配置yarn-site.xml：开启日志聚集功能、设置日志聚集服务器地址、设置日志保留时间为7天

分发配置，关闭NodeManager 、ResourceManager和HistoryServer

启动NodeManager 、ResourceManage和HistoryServer

删除HDFS上已经存在的输出文件

执行WordCount程序

查看日志

参考资料

大海哥，hadoop3.x

hadoop+spark生态系统操作与实战指南