我的私人笔记（安装hadoop）

1.安装hadoop01环境

注需安装最小安装和使用英文界面

2.安装群集

// 获得网关IP：192.168.80.2  获得子网掩码：255.255.255.0

// 获得网段：[起始IP地址]192.168.128 --- [结束IP地址]192.168.80.254

// 计划集群的ip和主机名

//192.168.80.151    hadoop01

//192.168.80.152    hadoop02

//192.168.80.153    hadoop03

在hadoop01中操作

1.修改主机名：

hostnamectl set-hostname hadoop01

2.配置网卡：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

#修改

BOOTPROTO=static

ONBOOT=yes

#添加

IPADDR=192.168.80.151

GATEWAY=192.168.80.2

NETMASK=255.255.255.0

DNS1=119.29.29.29

DNS2=8.8.8.8

3.修改映射文件

vi /etc/hosts

# 添加

192.168.80.151  hadoop01

192.168.80.152  hadoop02

192.168.80.153  hadoop03

4.永久关闭防火墙

systemctl disable firewalld.service

//systemctl status firewalld.service 查看防火墙状态

//systemctl start firewalld.service 开启防火墙

//systemctl stop firewalld.service 关闭防火墙

reboot // 重启虚拟机

5.修改映射文件

//到此电脑中输入

C:\Windows\System32\drivers\etc

//添加

192.168.80.151  hadoop01

192.168.80.152  hadoop02

192.168.80.153  hadoop03

6.远程连接

打开SecureCRT >> 文件 >> 连接 >> 新建会话

// 修改

主机名: hadoop01 // hadoop01指的是主机名

用户名: root

//点连接然后输入您用户的密码即可登录

7.创建文件夹

mkdir /opt/software /opt/servers

8.切换工作目录

cd /opt/software

9.上传jdk和hadoop

10.解压JDK和Hadoop

tar -zxvf /opt/software/jdk-8u65-linux-x64.tar.gz -C /opt/servers

tar -zxvf /opt/software/hadoop-2.7.4.tar.gz -C /opt/servers/

11.重命名文件夹

mv /opt/servers/jdk1.8.0_65/ /opt/servers/jdk

mv /opt/servers/hadoop-2.7.4/ /opt/servers/hadoop

12.配置环境变量

vi /etc/profile

# 在文件末尾添加

export JAVA_HOME=/opt/servers/jdk

export HADOOP_HOME=/opt/servers/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

13.刷新环境变量

source /etc/profile

14.验证JDK和Hadoop是否安装成功

//验证JDK，能看到版本号说明安装成功

java -version

//验证Hadoop，能看到版本号说明安装成功

hadoop version

15.切换工作目录

cd /opt/servers/hadoop/etc/hadoop/

16.编辑core-site.xml

vi core-site.xml

# <configuration>

    <property>

       <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/servers/hadoop/data/tmp</value>

    </property>

# </configuration>

17.编辑hdfs-site.xml

vi hdfs-site.xml

# <configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop02:50090</value>

    </property>

# </configuration>

18.编辑mapred-site.xml

//复制模板并重命名

cp mapred-site.xml.template  mapred-site.xml

//编辑文件

vi mapred-site.xml

# <configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

# </configuration>

19.编辑yarn-site.xml

vi yarn-site.xml

# <configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop01</value>

    </property>

# </configuration>

20.编辑slaves

vi slaves

// 删除 localhost

// 添加

hadoop01

hadoop02

hadoop03

21.编辑hadoop-env.sh

vi hadoop-env.sh

// 修改

export JAVA_HOME=/opt/servers/jdk

关机

poweroff

22.选中hadoop01虚拟机 >> 管理 >> 克隆 >> 下一页 >> 下一页 >> 创建完整克隆 >> 修改虚拟机名称及位置 >> 完成

// 需要两台虚拟机,所以我们要克隆2次

开启虚拟机 hadoop01 hadoop02 hadoop03

23.在hadoop02中操作

设置主机名

hostnamectl set-hostname hadoop02

编辑网卡

vi /etc/sysconfig/network-scripts/ifcfg-ens33

# 修改    设置成你的hadoop02 IP地址

IPADDR=192.168.80.152

重启虚拟机

reboot

24.在hadoop03中操作

设置主机名

hostnamectl set-hostname hadoop03

编辑网卡

vi /etc/sysconfig/network-scripts/ifcfg-ens33

# 修改    设置成你的hadoop03 IP地址

IPADDR=192.168.80.153

重启虚拟机

reboot

25.在hadoop01中操作

//生成机器间通信的密钥对，输入命令，直接按4个回车

ssh-keygen -t rsa

//创建authorized_keys文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

//修改authorized_keys文件权限为600

chmod 600 ~/.ssh/authorized_keys    

//验证SSH是否安装成功

ssh  localhost

    第一次登陆需要输入yes    

//分发公钥，在分发过程中需输入yes和分发对象机器的登录密码

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03

26.开启集群

hdfs namenode -format

start-dfs.sh、start-yarn.sh  或  start-all.sh   

27.验证

hadoop01:

            1732 NameNode

            1996 ResourceManager

            2253 Jps

    hadoop02:

            1538 SecondaryNameNode

            1642 NodeManager

            1486 DataNode

            1742 Jps

    hadoop03

            1683 Jps

            1487 DataNode

            1583 NodeManager

//在WEB中查看集群信息

    打开浏览器中输入：

    http://hadoop01:50070

                http://hadoop01:8088

28.停止集群

stop-dfs.sh、stop-yarn.sh  或  stop-all.sh