Ambari搭建Hadoop集群 — — 问题总结

Ambari搭建Hadoop集群 — — 问题总结

一、部署教程：

参考链接：基于Ambari搭建大数据分析平台-CSDN博客

二、问题总结：

1. VMwear Workstation 查看网关

2. 资源分配

参考：

1. 硬盘：master（29 GB）、slave1（29 GB）、slave2(29 GB)
2. 内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
3. 处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）

推荐配置

1. 硬盘：master（30 GB）、slave1（25 GB）、slave2(25 GB)
2. 内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
3. 处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）

3. CentOS-7 语言问题

在安装 CentOS-7 时，如果选择了使用中文进行安装，那么在之后使用 Ambari 安装 Hadoop 时，在步骤 confirm hosts时会出现无限读条问题，就是每一个节点都SUCCESS但是无法进行下一步，进入无限等待状态，此时极大可能时语言的问题，需要进行额外的配置：

1. 修改/etc/locale.conf文件：

   vim /etc/locale.conf
   

2. 将内容设置为：

   LANG="en_US.UTF-8"LANGUAGE="en_US:en"
   

4. YUM 换源

1. 将 yum 的源换为国内的阿里源：

   curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
   

2. 清除 yum 缓存:

   yum clean all
   

3. 生成 yum 的元数据缓存:

   yum makecache
   

5. 安装 ifconfig

CentOS-7 没有安装 ifconfig 命令的情况下，可通过以下办法进行解决：

1. 搜索 ifconfig 关键字的软件包：

   yum search ifconfig
   

   

2. 可以查找到 ifconfig 命令在 net-tools.x86_64 包里，安装 net-tools.x86_64 包：

   yum install net-tools.x86_64
   

   

3. 使用 ifconfig 查看网卡信息，检验能否正常使用：

   ifconfig
   

   

6. HDP 版本号丢失

在 ambari 部署服务的时候，第二步 Select Version 无法找到安装的 HDP版本号（HDP版本号丢失）问题：

此时有两种解决办法：

1. 加载 HDP-xxx.xml 文件，我的路径为 /var/www/html/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，将该文件通过 xftp 等软件传输到 windows 系统上，然后在将该文件添加即可。
   

2. 加载 URL，根据自己的IP以及文件路径进行设置，我的路径为：http://master/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，其中 master 为主节点的 IP，如没有配置映射，需要使用完整的 IP 来进行访问，如：http://192.168.93.131/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml，然后选择添加该URL即可。

   

三、致谢

• 基于Ambari搭建大数据分析平台-CSDN博客

• Ambari部署及hdp部署的疑难问题解答汇总_ambarihdp-CSDN博客

• Ambari2.7.3+HDP3.1.0部署集群时-HDP Version丢失问题_hdp-select versions报错-CSDN博客

• Ambari安装----Confirm Hosts Registering with the server failed解决办法_registering with the server… registration with t-CSDN博客

• 解决CentOS7的yum无法安装的问题_cenos 安装不了任何服务-CSDN博客

• 【尚硅谷】大数据技术之Ambari(安装丨配置丨部署)_哔哩哔哩_bilibili