Hadoop集群模式安装（Cluster mode）

1、Hadoop源码编译

安装包、源码包下载地址

Index of /dist/hadoop/common/hadoop-3.3.0为什么要重新编译Hadoop源码?

匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地库（*.so|*.dll）  修改源码、重构源码

如何编译Hadoop

源码包根目录下文件：BUILDING.txt 详细步骤参考附件资料课程提供编译好的Hadoop安装包

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

Step1:集群角色规划

角色规划的准则

根据软件工作特性和服务器硬件资源情况合理分配

比如依赖内存工作的NameNode是不是部署在大内存机器上？

角色规划注意事项

资源上有抢夺冲突的，尽量不要部署在一起 工作上需要互相配合的。尽量部署在一起

 Step2:服务器基础环境准备

主机名（3台机器）

vim /etc/hostname

 Hosts映射（3台机器）

vim /etc/hosts

 防火墙关闭（3台机器）

systemctl stop firewalld.service  #关闭防火墙  

systemctl disable firewalld.service #禁止防火墙开启自启

 ssh免密登录（node1执行->node1|node2|node3）

ssh-keygen #4个回车 生成公钥、私钥

ssh-copy-id node1、ssh-copy-id node2、ssh-copy-id node3 #

集群时间同步（3台机器）

yum -y install ntpdate  ntpdate ntp4.aliyun.com

 创建统一工作目录（3台机器）

mkdir -p /export/server/  #软件安装路径

mkdir -p /export/data/ #数据存储路径

mkdir -p /export/software/ #安装包存放路径

 

Step3:上传安装包、解压安装包

JDK 1.8安装（3台机器）

上传、解压Hadoop安装包（node1）

 Step4:Hadoop安装包目录结构

 

配置文件概述

l官网文档：Hadoop – Apache Hadoop 3.3.0

l第一类1个：hadoop-env.sh

l第二类4个：xxxx-site.xml ,site表示的是用户定义的配置，会覆盖default中的默认配置。 core-site.xml 核心模块配置

hdfs-site.xml hdfs文件系统模块配置 mapred-site.xml MapReduce模块配置 yarn-site.xml yarn模块配置

l第三类1个：workers

l所有的配置文件目录：/export/server/hadoop-3.3.0/etc/hadoop

 

Step5:编辑Hadoop配置文件（1）

hadoop-env.sh

 core-site.xml

 

 lhdfs-site.xml

 lmapred-site.xml

 yarn-site.xml

 

 

lworkers

 

Step7:配置Hadoop环境变量

在node1上配置Hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将修改后的环境变量同步其他机器

scp /etc/profile root@node2:/etc/  scp /etc/profile root@node3:/etc/

重新加载环境变量 验证是否生效（3台机器）

source /etc/profile

hadoop #验证环境变量是否生效

 

 

Step8:NameNode format（格式化操作）

首次启动HDFS时，必须对其进行格式化操作。

format本质上是初始化工作，进行HDFS清理和准备工作

命令：hdfs namenode -format