搭建hadoop+spark完全分布式集群环境

目录

一、集群规划

二、更改主机名

 三、建立主机名和ip的映射

四、关闭防火墙（master，slave1，slave2）

五、配置ssh免密码登录

六、安装JDK

七、hadoop之hdfs安装与配置

1）解压Hadoop

2）修改hadoop-env.sh

3）修改 core-site.xml

4)修改hdfs-site.xml

5) 修改slave

八、配置hadoop环境变量

九、将hadoop拷贝到其他主机、

十、格式化元数据目录

十一、下载安装spark

十二、配置文件修改

1）复制模板文件

2）配置spark-env.sh(增加环境变量)

3) 配置slaves

4) 将master配置好的spark 拷贝到slave1,slave2

5) 配置环境变量

6）启动与验证

7）提交jar 包并观察验证

一、集群规划

主机名	操作系统	地址	角色	硬件配置
master	Centos	10.1.0.248	namenode	2g 1核
slaver1	Centos	10.1.0.94	datanode	1g 1核
slaver2	Centos	10.1.0.31	datanode	1g 1核

二、更改主机名

分别修改主机名文件（重启永久生效）

sudo vi  /etc/sysconfig/network

 三、建立主机名和ip的映射

sudo vi /etc/hosts

 拷贝到slave1和slave2中

四、关闭防火墙（master，slave1，slave2）

关闭防火墙：sudo service iptables stop  

关闭防火墙自启：sudo chkconfig iptables off

五、配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id mast