在Docker环境中安装Hadoop cluster 实验报告三

在Docker环境中安装Hadoop cluster 实验报告三1个namenode, 3个datanodes班级物联网2303学号231040700302姓名杜子健(30%) 安装过程ContainersHadoop1.1 Containers 创建与配置1拉取稳定镜像选择 Ubuntu 20.04 镜像轻量、兼容性强适配 Hadoop 3.x 版本终端执行拉取命令bash运行docker pull ubuntu:20.042创建自定义网络与容器1 个 NameNode3 个 DataNode容器命名规范严格遵循实验要求NameNode 容器命名为 “docker-hadoop - 学号”示例docker-hadoop-20230013 个 DataNode 容器命名为 “docker-hadoop - 学号 - dn1/2/3”示例docker-hadoop-2023001-dn1确保截图可识别学号标识。执行创建命令bash运行# 创建Hadoop专用网络确保容器间通信无冲突docker network create hadoop-net-3# 创建NameNode容器映射核心端口满足Web访问和通信docker run -itd --name docker-hadoop-2023001 --network hadoop-net-3 -p 9870:9870 -p 9000:9000 -p 8088:8088 ubuntu:20.04# 创建3个DataNode容器加入同一网络确保与NameNode互通docker run -itd --name docker-hadoop-2023001-dn1 --network hadoop-net-3 ubuntu:20.04docker run -itd --name docker-hadoop-2023001-dn2 --network hadoop-net-3 ubuntu:20.04docker run -itd --name docker-hadoop-2023001-dn3 --network hadoop-net-3 ubuntu:20.04命令说明-p 9870:9870映射 HDFS Web 界面端口-p 8088:8088映射 YARN Web 界面端口-p 9000:9000映射 NameNode 通信端口确保本地可正常访问集群。3容器基础环境配置所有容器进入每个容器安装 SSH、Java、vim 等必备工具以 NameNode 为例DataNode 重复操作bash运行# 进入NameNode容器docker exec -it docker-hadoop-2023001 bash# 更新软件源并安装工具避免安装失败apt update apt install -y openjdk-8-jdk openssh-server vim wget net-tools1.2 Hadoop 安装与集群配置1SSH 免密登录配置所有容器集群节点间需免密通信确保 Hadoop 启动时无需手动输入密码启动 SSH 服务并设置开机自启bash运行service ssh startupdate-rc.d ssh defaults # 配置开机自启避免容器重启后SSH失效生成 SSH 密钥一路回车不设置密码bash运行ssh-keygen -t rsa实现节点间免密登录在 NameNode 容器中将公钥复制到所有 DataNode 容器和自身bash运行# 复制到自身避免本地访问需要密码ssh-copy-id docker-hadoop-2023001# 复制到3个DataNode容器ssh-copy-id docker-hadoop-2023001-dn1ssh-copy-id docker-hadoop-2023001-dn2ssh-copy-id docker-hadoop-2023001-dn3测试执行ssh docker-hadoop-2023001-dn1无需输入密码即可进入容器说明免密配置成功。2Hadoop 下载与环境配置在 NameNode 容器中下载 Hadoop 3.3.4 稳定版bash运行wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz解压并配置环境变量bash运行# 解压到/usr/local目录标准安装路径便于后续操作tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/mv /usr/local/hadoop-3.3.4 /usr/local/hadoop# 配置环境变量写入.bashrc确保每次进入容器都生效echo export HADOOP_HOME/usr/local/hadoop ~/.bashrcecho export PATH\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin ~/.bashrcecho export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 ~/.bashrcsource ~/.bashrc # 生效配置同步 Hadoop 文件与环境变量到 3 个 DataNode退出 NameNode 容器在本地终端执行同步命令避免重复下载配置bash运行# 同步Hadoop安装目录docker cp docker-hadoop-2023001:/usr/local/hadoop docker-hadoop-2023001-dn1:/usr/local/docker cp docker-hadoop-2023001:/usr/local/hadoop docker-hadoop-2023001-dn2:/usr/local/docker cp docker-hadoop-2023001:/usr/local/hadoop docker-hadoop-2023001-dn3:/usr/local/# 同步环境变量配置文件docker cp docker-hadoop-2023001:~/.bashrc docker-hadoop-2023001-dn1:~/.bashrcdocker cp docker-hadoop-2023001:~/.bashrc docker-hadoop-2023001-dn2:~/.bashrcdocker cp docker-hadoop-2023001:~/.bashrc docker-hadoop-2023001-dn3:~/.bashrc分别进入 3 个 DataNode 容器执行source ~/.bashrc生效环境变量执行hadoop version验证是否同步成功。3Hadoop 核心配置文件修改NameNode 容器进入配置目录cd /usr/local/hadoop/etc/hadoop/修改 6 个关键文件hadoop-env.sh指定 Java 路径确保 Hadoop 能找到 Java 环境bash运行export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64core-site.xml配置 HDFS 主节点地址和临时目录xmlconfigurationpropertynamefs.defaultFS/name!-- NameNode容器名作为地址自动解析IP --valuehdfs://docker-hadoop-2023001:9000/value/propertypropertynamehadoop.tmp.dir/name!-- 临时文件存储路径避免默认路径权限问题 --value/usr/local/hadoop/tmp/value/property/configurationhdfs-site.xml配置副本数与数据存储路径xmlconfigurationpropertynamedfs.replication/name!-- 副本数DataNode数量确保数据冗余存储 --value3/value/propertypropertynamedfs.namenode.name.dir/name!-- NameNode元数据存储路径 --value/usr/local/hadoop/namenode-data/value/propertypropertynamedfs.datanode.data.dir/name!-- DataNode数据存储路径 --value/usr/local/hadoop/datanode-data/value/propertypropertynamedfs.http.address/name!-- 允许外部访问HDFS Web界面 --value0.0.0.0:9870/value/property/configurationmapred-site.xml配置 MapReduce 使用 YARN 资源管理器xmlconfigurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configurationyarn-site.xml配置 YARN 核心参数xmlconfigurationpropertynameyarn.resourcemanager.hostname/name!-- YARN部署在NameNode节点 --valuedocker-hadoop-2023001/value/propertypropertynameyarn.nodemanager.aux-services/name!-- 启用Shuffle服务支持MapReduce数据传输 --valuemapreduce_shuffle/value/property/configurationworkers指定 DataNode 节点列表容器名必须准确bash运行docker-hadoop-2023001-dn1docker-hadoop-2023001-dn2docker-hadoop-2023001-dn34创建数据存储目录并格式化 NameNode在所有容器中创建目录按配置文件路径创建bash运行mkdir -p /usr/local/hadoop/tmp /usr/local/hadoop/namenode-data /usr/local/hadoop/datanode-data在 NameNode 容器中格式化仅执行一次格式化失败需删除目录重新操作bash运行hdfs namenode -format验证执行后显示 “successfully formatted”无红色报错即格式化成功。5启动 Hadoop 集群在 NameNode 容器中执行启动命令一键启动 HDFS 和 YARN 服务bash运行start-all.sh(15%) Docker Desktop Dashboarddocker-hadoop-你的学号运行截图。(15%) Hadoop cluster 运行截图。(20%) 过程出现那些问题? 如何解决?1. 问题 1容器名称不符合要求导致截图无法识别学号现象初期创建容器时未按 “docker-hadoop - 学号” 命名后续截图不符合实验三要求。解决方法停止并删除错误命名的容器docker stop 容器名 docker rm 容器名按实验要求重新创建容器确保容器名称包含完整学号避免二次修改。2. 问题 2DataNode 启动失败jps未显示 DataNode 进程现象启动集群后NameNode 正常运行但 3 个 DataNode 均未启动查看日志提示 “DataNode registration failed”。解决方法检查workers文件中 DataNode 容器名是否与实际创建一致需严格匹配大小写和学号标识删除所有 DataNode 的数据目录rm -rf /usr/local/hadoop/datanode-data/*重新格式化 NameNode 后启动集群。3. 问题 3容器间网络不通SSH 无法连接 DataNode现象执行ssh docker-hadoop-2023001-dn1时提示 “Name or service not known”容器间无法解析主机名。解决方法确认所有容器已加入同一自定义网络docker network inspect hadoop-net-3查看容器列表若未加入执行docker network connect hadoop-net-3 容器名补加网络确保容器间可通过名称解析 IP。4. 问题 4HDFS Web 界面无法访问localhost:9870打不开现象集群启动成功但本地浏览器无法访问 HDFS Web 界面提示 “无法连接到服务器”。解决方法检查 NameNode 容器端口映射是否正确创建容器时需包含-p 9870:9870若端口映射缺失停止容器并重新创建需保留数据时可先备份目录同时检查本地防火墙是否拦截 9870 端口关闭防火墙后重试。(20%) 心得与感受。实验三在实验二的基础上新增了“容器名称包含学号”的特殊要求同时延续1个NameNode3个DataNode的集群配置不仅巩固了Docker和Hadoop的核心知识点更让我体会到“规范操作”在技术实践中的重要性。实验初期我因疏忽未按要求命名容器导致需要重新创建容器并重复配置步骤这让我意识到实验中的细节要求并非多余——包含学号的容器名称能让报告更具辨识度也培养了严谨的操作习惯。在排查DataNode启动失败和网络不通的问题时我学会了通过docker network inspect查看网络配置、通过Hadoop日志定位错误原因逐步提升了问题排查的逻辑性和效率。通过本次实验我对Docker的容器化技术有了更深入的理解自定义网络能有效避免容器间端口冲突容器命名规范便于管理和识别而docker cp命令则简化了多节点的配置同步工作让分布式集群搭建变得高效且可复用。同时我也进一步掌握了Hadoop集群的核心架构逻辑——NameNode的元数据管理、DataNode的数据存储、YARN的资源调度三者协同工作而副本数配置设为3则能有效保障数据安全性这些知识点在多节点部署中得到了充分验证。相比前两次实验实验三更注重操作规范性和结果可验证性这与实际工作场景高度契合——实际项目中服务器命名、配置文件规范、日志排查都是必备技能。这次实验不仅提升了我的动手操作能力更让我明白技术实践既要追求“实现功能”也要注重“规范高效”。未来我会尝试在该集群中部署实际的大数据处理任务如WordCount进一步验证集群的可用性同时深入学习Docker Compose等容器编排工具探索更高效的集群部署方式为后续学习更复杂的分布式系统如Spark集群打下坚实基础。