Linux下hadoop2.9.2单节点伪分布搭建完全教程

配置静态IP在实际应用中由于我们使用的是 DHCPDynamic Host Configuration Protocol 动态主机配置协议服务器来分配的地址那么每次重启DHCP 服务器 ip 地址有 可能是会变动的。 而我们用Linux 来搭建集群学习Hadoop 的话是希望 IP 固 定不变的因为有很多地方会涉及到 IP 地址的配置如果 IP 地址变化就会涉及 到很多相关地方的修改所以我们需要配置静态 IP那么具体如何进行配置呢查看网络信息配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-ens33重启网络服务systemctl start network.service或者service network restart重启测试reboot检查网络ping www.baidu.comx-shell连接工具由于直接在 Linux 虚拟机上操作比较不方便所以我们选择使用第三方远程连接 工具 X-shell 远程连接到 Linux 虚拟机然后通过 X-shell 对 Linux 虚拟机进行 相关操作。下载安装X-Shell远程连接工具X-Shell远程连接Linux虚拟机打开 X-Shell 工具file——new——connection设置连接 然后选择Authentication配置用户名和密码设置账号密码在 Sessions 对话框选中刚刚创建的会话名称hadoop1FileZilla传输工具FileZilla 是一个免费开源的 FTP 软件可以轻松实现文件上传与下载。下载安装FileZillaFileZilla远程连接Linux虚拟机配置主机名和IP映射实际上无论是 IP 地址还是主机名都是为了标识一台主机或者服务器。IP 地址 就是一台主机上网时 IP 协议分配给它的一个逻辑地址主机名(hostname)就相 当于又给这台机器取了一个名字可以为主机取各种各样的名字。如果要用这个 名字去访问这台主机那么就需要配置hostname 与 IP 地址之间的对应关系。vi /etc/hostname写入hadoop1vi /etc/hosts写入192.168.249.161 hadoop1关闭Linux防火墙防火墙是对服务器进行保护的一种服务但是有时候这种服务会带来很大的麻 烦。比如它会妨碍集群间的相互通信所以就需要关闭防火墙。查看防火墙状态systemctl status firewalld关闭防火墙systemctl stop firewalld禁用防火墙开机不自动启动systemctl disable firewalld更换yum源由于centos7停止服务我们需要更换阿里YUM源1下载http://mirrors.aliyun.com/repo/Centos-7.repo文件到桌面2在/etc/yum.repos.d/目录下由于原有源全部失效我们全部删除,cd /etc/yum.repos.d rm -rf *3使用fileZilla将Centos-7.repo上传到/etc/yum.repos.d/4使用下载好的 repos 文件替换默认的 repos 文件mv Centos-7.repo CentOS-Base.repo5清理旧缓存数据缓存新数据yum clean all yum makecache测试安装wingetyum -y install wget能够顺利安装即代表配置完成创建Linux用户和用户组在 Hadoop 平台搭建过程中为了系统安全考虑一般不直接使用超级用户 root 而是需要创建一个新的用户和用户组。添加 hadoop 用户useradd hadoop配置密码123456passwd hadoopLinux SSH免密登录SSH(Secure Shell)是可以在应用程序中提供安全通信的一个协议通过 SSH 可 以安全地进行网络数据传输它的主要原理就是利用非对称加密体系对所有待 传输的数据进行加密保证数据在传输时不被恶意破坏、泄露或者篡改。但是 Hadoop 集群使用SSH 不是用来进行数据传输的而是在 Hadoop 集群启动和 停止的时候主节点需要通过 SSH 协议启动或停止从节点上面的进程。如果不配置 SSH免密登录对 Hadoop 集群的正常使用没有任何影响但是在启动和停止 Hadoop 集群的时候需要输入每个从节点的密码。可以想象一下当集群规模 比较大的时候比如达到成百上千节点的规模如果每次都要分别输入集群节点 的密码这种方法肯定是不可取的所以要对 Hadoop 集群进行 SSH免密登录的 配置。生成密钥对ssh-keygen -t rsa将 公 钥 文 件 id_rsa.pub 中 的 内 容 拷 贝 到 相 同 目 录 下 的 authorized_keys 文件中。cd .ssh/ cp id_rsa.pub authorized_keys切换到 hadoop 用户的根目录然后为.ssh 目录及文件赋予相应的权限。chmod 700 .ssh chmod 600 .ssh/*使用 ssh 命令登录 hadoop1第一次登录需要输入 yes 进行确认第二次以后登录则不需要此时表明设置成功ssh hadoop1JDK安装与配置由于 Hadoop 框架是由Java 语言开发并运行在 JVM 之上所以需要在Linux 中提 前安装 JDK 环境。另外安装 Hadoop 对 JDK 版本也有要求由于安装的 Linux 系统是 64 位的Centos7 系统所以需要安装与之相对应的 64 位 JDK 安装包。针 对 Linux 系统下的 JDK 具体版本可以选择目前比较稳定且常用的 JDK1.8 版本。下载JDK下载对应版本的 jdk-8u141-linux-x64.tar.gz安装包并上传至 hadoop1 节点 的/home/hadoop/app 目录下。2.8.2解压JDK在当前目录下使用 tar 命令对 JDK 进行解压具体操作如下所示。tar -zxvf jdk-8u141-linux-x64.tar.gz为了方便管理多版本 JDK使用 ln 命令创建 JDK 软连接具体操作如下所示。ln -s jdk1.8.0_141 jdk2.8.3配置JDK环境变量在 hadoop 用户下使用 vi 命令打开.bashrc 配置文件添加 JDK 环境变量具 体添加内容如下所示。vi~/.bashrc使用 source 命令执行.bashrc 文件JDK 环境变量才能生效具体操作如下所示。source~/.bashrc echo$JAVA_HOME如有路径输出即安装成功2.9.4检查JDK是否安装成功在 hadoop 用户下使用Java 命令查看 JDK 版本号具体操作如下所示。java -versionJava(TM)SERuntimeEnvironment(build1.8.0_141-b15)JavaHotSpot(TM)64-BitServerVM(build25.141-b15,mixedmode)如果打印的信息如上能查看到 JDK 版本号说明JDK 安装成功。Hadoop的安装与配置下载Hadoop下载对应版本的Hadoop安装包并上传至hadoop1节点的/home/hadoop/app 目录下解压Hadoop在当前目录下使用tar 命令解压Hadoop安装包具体操作如下所示。tar -zxvf hadoop-2.9.2.tar.gz为了方便管理多版本 Hadoop使用 ln 命令创建软连接具体操作如下所示。ln -s hadoop-2.9.2 hadoop配置Hadoop在 Hadoop 安装目录下进入到 etc/hadoop 目录修改 Hadoop 相关配置文件。1修改 core-site.xml 配置文件core-site.xml文件主要配置Hadoop的公有属性具体配置内容如下所示vi core-site.xmlconfiguration property valuehdfs://hadoop1:9000/value !--配置 hdfs NameNode 的地址9000 是 RPC 通信的端口-- /property property namehadoop.tmp.dir/name value/home/hadoop/data/tmp/value !--hadoop 的临时目录-- /property /configuration2修改 hdfs-site.xml 配置文件hdfs-site.xml文件主要配置跟HDFS相关的属性具体配置内容如下所示。configuration property namedfs.namenode.name.dir/name value/home/hadoop/data/dfs/name/value !--配置namenode 节点存储 fsimage 的目录位置-- /property property namedfs.datanode.data.dir/name value/home/hadoop/data/dfs/data/value !--配置 datanode 节点存储block 的目录位置-- /property property namedfs.replication/name value1/value !--配置 hdfs 副本数量-- /property property namedfs.permissions/name valuefalse/value !--关闭hdfs 的权限检查-- /property /configuration3修改 hadoop-env.sh 配置文件hadoop-env.sh 文件主要配置跟 Hadoop 环境相关的变量这里主要修改 JAVA_HOME 的安装目录具体配置内容如下所示。vi hadoop-env.sh找到exportJAVA_HOME 这一行修改为export JAVA_HOME/home/hadoop/app/jdk4修改 mapred-site.xml 配置文件mapred-site.xml 文件主要配置跟 MapReduce 相关的属性这里主要将 MapReduce 的运行框架名称配置为 YARN具体配置内容如下所示。vi mapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value !--指定运行mapreduce 的环境为YARN-- /property /configuration5修改 yarn-site.xml 配置文件yarn-site.xml文件主要配置跟YARN 相关的属性具体配置内容如下所示。vi yarn-site.xmlconfiguration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value !--配置NodeManager 执行 MR 任务的方式为 Shuffle 混洗-- /property /configuration6修改 slaves 配置文件slaves 文件主要配置哪些节点为 datanode 角色由于目前搭建的是 Hadoop 伪 分布集群所以只需要填写当前主机的hostname 即可具体配置内容如下所示。vi slaves写入主机名hadoop17配置 Hadoop 环境变量在 hadoop 用户下添加 Hadoop 环境变量具体操作如下所示。vi ~/.bashrc修改为JAVA_HOME/home/hadoop/app/jdk HADOOP_HOME/home/hadoop/app/hadoop CLASSPATH.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH HADOOP_HOME使用 source 命令执行.bashrc 文件才能使 Hadoop 环境变量生效具体操作如 下所示。source ~/.bashrc hadoop version如果输出 hadoop 2.9.2 即成功8创建 Hadoop 相关数据目录在hadoop用户下创建Hadoop相关数据目录具体操作如下所示。mkdir -p /home/hadoop/data/tmp mkdir -p /home/hadoop/data/dfs/name mkdir -p /home/hadoop/data/dfs/data2.9.4启动Hadoop伪分布集群1格式化主节点 namenode在Hadoop安装目录下使用如下命令对NameNode进行格式化。bin/hdfs namenode -format注意第一次安装 Hadoop 集群需要对 NameNode 进行格式化Hadoop 集群安装 成功之后下次只需要使用脚本 start-all.sh 一键启动 Hadoop 集群即可。2启动 Hadoop 伪分布集群在Hadoop安装目录下使用脚本一键启动Hadoop集群具体操作如下所示。sbin/start-all.sh3查看 Hadoop 服务进程通过 jps 命令查看 Hadoop 伪分布集群的服务进程具体操作如下所示。jps输出2466 DataNode 2948 NodeManager 3271 Jps 2843 ResourceManager 2636 SecondaryNameNode 2366 NameNode如果服务进程中包含 Resourcemanager、Nodemanager、NameNode、DataNode 和 SecondaryNameNode 等 5 个进程这就说明 Hadoop 伪分布集群启动成功。4查看 HDFS 文件系统在浏览器中输入 http://hadoop1:50070/地址通过 web 界面查看 HDFS 文件系统 具体操作如图示。图 2-20 通过web 界面查看 HDFS 文件系统 备注在 windows 平台要用 hadoop1 访问必须在C:\Windows\System32\drivers\etc\hosts 文件中配置。图 2-21 在 hosts 文件中配置 ip 映射5查看 YARN 资源管理系统在浏览器中输入 http://hadoop1:8088/地址通过 web 界面查看 YARN 资源管理系 统具体操作如图所示。2.9.5测试运行Hadoop伪分布集群Hadoop 伪分布集群启动之后我们以Hadoop 自带的WordCount 案例来检测Hadoop 集群环境的可用性。1查看 HDFS 目录在HDFS shell中使用ls命令查看HDFS文件系统目录具体操作如下所示。bin/hdfs dfs -ls /由于是第一次使用HDFS 文件系统所以 HDFS 中目前没有任何目录和文件。2创建 HDFS 目录在 HDFS shell 中使用 mkdir 命令创建 HDFS 文件目录/test具体操作如下所示。bin/hdfs dfs -mkdir /test3准备测试数据集在Hadoop根目录下新建words.log文件并输入测试数据具体操作如下所示。vi words.log写入以下内容hadoop hadoop hadoop spark spark spark flink flink flink4测试数据上传至 HDFS使用put命令将words.log文件上传至HDFS的/test 目录下具体操作如下所示。bin/hdfs dfs -put words.log /test5运行 WordCount 案例使用 yarn 脚本将 Hadoop 自带的 WordCount 程序提交到 YARN 集群运行具体操作 如下所示。bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /test/words.log /test/out6查看作业运行状态在浏览器中输入 http://hadoop1:8088/地址通过 web 界面查看 YARN 中作业运行 状态具体操作如图所示。图 2-23 通过web 界面查看 YARN 中作业运行状态如果在 YARN 集群的 Web 界面中查看到 WordCount 作业最终的运行状态为 SUCCESS就说明 MapReduce 程序可以在 YARN 集群上成功运行。7查询作业运行结果使用cat命令查看WordCount作业输出结果具体操作如下所示。bin/hdfs dfs -cat /test/out/*会输出flink 3 hadoop 3 spark 3如果 WordCount 运行结果符合预期值说明 Hadoop 伪分布式集群已经搭建成功