ubuntu-server部署hive-part2-安装hadoop

参照

https://blog.csdn.net/qq_41946216/article/details/134345137

操作系统版本：ubuntu-server-22.04.3

虚拟机：virtualbox7.0

安装hadoop

​​​​​​下载上传

下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/

以root用户，上传

解压 tar zxvf hadoop-3.3.4.tar.gz

重命名 mv hadoop-3.3.4 hadoop

配置环境变量

以root用户，配置环境变量

vi .profile

/opt/hadoop

以root用户，执行source .profile变量生效，并检验

配置文件设置

除启停命令外，其余配置文件均位于$HADOOP_HOME/etc/hadoop

hadoop-env.sh

core-site.xml

vi core-site.xml

将 hadoop001改为 virtualbox_u22034server

hdfs-site.xml

vi hdfs-site.xml

将 hadoop001改为 virtualbox_u22034server

yarn-site.xml

vi yarn-site.xml

mapred-site.xml

workers

非集群可以不配置

sbin下启停命令

$HADOOP_HOME/sbin

在 sbin下的start-dfs.sh和stop-dfs.sh中顶部配置

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

复制hadoop至其他节点

伪分布式不执行此步

hdfs格式化

hdfs namenode -format

过程中会提示，输入y，回车

启动hdfs

cd /opt/hadoop

./sbin/start-dfs.sh

以上截图说明启动异常，具体内容见问题处理

解决后

在浏览器中输入http://192.168.12.66:9870，访问页面如下

启动yarn

start-yarn.sh

在浏览器中输入http://192.168.12.66:8088，访问页面如下

问题处理

hdfs启动服务时报错

报错截图如下

执行以下命令，然后连续点三下回车生成SSH密匙对

把密匙对分发给本机，让本机可以免密登录

ssh-keygen -t rsa

ssh-copy-id $(hostname)

无报错没正常启动hdfs

进入$HADOOP_HOME/logs，查看datanode日志

该报错是因为linux计算名不能出现下划线。将virtualbox_u22034server

改为virtualbox-u22034server

vi /etc/hostname

hadoop配置文件中的virtualbox_u22034server改为virtualbox-u22034server

重启：reboot

启动hadoop：start-dfs.sh

查看java虚拟机进程：jps，如下所示说明已经正常启动了。

如果以上处理完还不没有成功启动，尝试以下操作

检查core-site.xml 和 hdfs-site.xml；

删除两个配置文件中配置的目录

删除/opt/hadoopdata/dfs中的文件

删除/opt/hadoop/logs中的文件

重启服务器

重新执行格式化NameNode

再次启动hdfs