Hadoop安装与配置

 一、Hadoop安装与配置

1、解压Hadoop安装包

找到hadoop-2.6.0.tar.gz,将其复到master0节点的”/home/csu”目录内，解压hadoop

[csu@master0 ~]$ tar  -zxvf  ~/hadoop-2.6.0.tar.gz

 解压成成功后自动在csu目录下创建hadoop-2.6.0子目录，可以用cd hadoop-2.6.0命令进入这个目录，并用ls -l 命令查看里面的文件。

2、配置hadoop环境变量

如果通过代码无法打开文件，就点击HOME目录，找到computer目录然后按照这个路径去找到各个文件夹“/home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh”

[csu@master0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh

在文件的前面找到“export JAVA_HOME={JAVA_HOME}”将其修改为实际的JDK安装路径，即输入”export JAVA_HOME=/usr/java/jdk1.7.0_71/” 编辑完毕保存退出即可

3、配置Yarn环境变量文件

配置Yarn环境变量文件是yarn-env.sh,也位于“~/hadoop-2.6.0/etc/hadoop”目录下

[csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh

在文件的前面部份找到“# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ ”

将其改为“export JAVA_HOME=/usr/java/jdk1.7.0_71/”编辑完毕保存退出即可

4、配置核心组件文件

  hadoop的核心组件文件是core-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”目录下

[csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml

需要将下面的配置代码放在文件的<configuration>和</configuration>之间

  <configuration>

  <property>

      <name>fs.defaultFS</name>

      <value>hdfs://master0:9000</value>

  </property>

  <property>

      <name>hadoop.tmp.dir</name>

      <value>/home/csu/hadoopdata</value>

  </property>

</configuration>

编辑完毕保存退出即可

（事先要在/home/csu下建一个hadoopdata目录）

5、配置文件系统

   Hadoop的文件系统配置文件是hdfs-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”子目录下。

  [csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

需要将下面的代码填充到文件的<configuration>和</configuration>之间

  <property>

    <name>dfs.replication</name>

    <value>1</value>

 </property>

编辑完毕保存退出即可

dfs.replicationd是HDFS数据块的副本数，<value>1</value>

中的值是1就表示是一个副本，默认值为3.

6、配置yarn-site.xml文件

   yarn-site.xml文件也位于“~/hadoop-2.6.0/etc/hadoop”子目录下

   [csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml

将下面的代码填充到文件的<configuration>和</configuration>之间

 <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

  </property>

  <property>

     <name>yarn.resourcemanager.address</name>

     <value>master0:18040</value>

  </property>

  <property>

     <name>yarn.resourcemanager.scheduler.address</name>

     <value>master0:18030</value>

  </property>

  <property>

     <name>yarn.resourcemanager.resource-tracker.address</name>

     <value>master0:18025</value>

  </property>

  <property>

     <name>yarn.resourcemanager.admin.address</name>

     <value>master0:18141</value>

  </property>

  <property>

     <name>yarn.resourcemanager.webapp.address</name>

     <value>master0:18088</value>

  </property>

编辑完毕保存退出即可

7、配置MapReduce计算框架文件

   在~/hadoop-2.6.0/etc/hadoop目录下系统已经有一个mapred-site.xml.template文件，将其复制并改名，位置不变。

 [csu@master0 ~]$  cp  /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template

/home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml

然后编辑这个文件

[csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml

将下面代码填充到文件的<configuration>和</configuration>之间

 <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

 </property>

编辑完毕保存退出即可

8、配置master的slaves文件

[csu@master0 ~]$  gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves

 根据自己搭建的实际情况进行编辑，现在只安装一个从节点slave0,就在里面输入内容

     slave0

编辑完毕保存退出即可

9、复制master上的Hadoop到Slave节点

    有几个从节点就要复制几次，现在只有一个slave0从节点，就复制一次

  [csu@master0 ~]$ scp -r /home/csu/hadoop-2.6.0  csu@slave0:~/

  （由于我们前面已经配置了免密钥登陆，因此这里不会有密码输入认证）

至此，就完成了Hadoop集群的安装与配置.

二、Hadoop的启动

  1、配置操作系统环境变量

      配置Linux系统的环境变量

   [csu@master0 ~]$ gedit  ~/.bash_profile

Or

[csu@master0 ~]nano ~/.bash_profile

   在这个文件的尾部追加下面的代码：

   #HADOOP

export HADOOP_HOME=/home/csu/hadoop-2.6.0

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 保存退出后执行“source  ~/.bash_profile”命令，使修改后的配置生效。

（同时也要在其他节点进行上述配置）

2、创建Hadoop数据目录

Mkdir /home/csu/hadoopdata

注意，这里的数据目录名“hadoopdata”与前面核心组件文件core-site.xml的配置

<name>hadoop.tmp.dir</name>

<value>/home/csu/hadoopdata</value>要一致

3、格式化文件系统

[csu@master0 ~]$ hdfs namenode -format（主节点）

1. 启动和关闭hadoop

   [csu@master0 ~]$ cd   ~/hadoop-2.6.0

   [csu@master0  hadoop-2.6.0]$ sbin/start-all.sh   (启动)

   [csu@master0  hadoop-2.6.0]$ sbin/stop-all.sh   (关闭)

5、验证Hadoop是否启动成功

[csu@master0  hadoop-2.6.0]$ jps

执行jps查看进程，如果有四个进程：

SecondaryNameNode、ResourceManager、NameNode和Jps

则表明主节点启动成功

从节点上执行jps,看到有NodeManager、Jps和DataNode

三个进程表示从节点也安装成功

在firefox浏览器中( 在命令状下直接输入firefox就可以启动firefox浏览器)：

在地址栏输入http://master0:50070/可以查看Hadoop运行状态

在地址栏输入http://master0:18088/可以查看Yarn运行状态

                                                                                                                              ————学习笔记