当前位置： 首页 > news >正文

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

news 2026/4/12 22:30:37

实验名称

部署全分布模式Hadoop集群

实验性质

（必修、选修）

必修

实验类型（验证、设计、创新、综合）

综合

实验课时

2

实验日期

2023.10.16-2023.10.20

实验仪器设备以及实验软硬件要求

专业实验室（配有centos7.5系统的linux虚拟机三台）

实验目的

1. 熟练掌握Linux基本命令。

2. 掌握静态IP地址的配置、主机名和域名映射的修改。

3. 掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。

4. 理解为何需要配置SSH免密登录，掌握Linux环境下SSH的安装、免密登录的配置。

5. 熟练掌握在Linux环境下如何部署全分布模式Hadoop集群。

实验内容（实验原理、运用的理论知识、算法、程序、步骤和方法）

一：实验原理

1. Linux基本命令

   - Linux是一个免费使用和自由传播的类Unix操作系统，支持多用户、多任务、多线程和多CPU。

   - Linux基本命令包括查看当前目录（pwd）、切换目录（cd）、罗列文件（ls）、创建目录（mkdir）、拷贝文件（cp）、移动或重命名文件（mv）、删除文件（rm）、查看进程（ps）、压缩与解压文件（tar）、查看文件内容（cat）、查看机器IP配置（ip address）等。

2. vim编辑器

   - vim是一个功能强大、高度可定制的文本编辑器，是vi的加强版，支持命令模式、输入模式和末行模式。

   - vi/vim的工作模式包括命令模式、输入模式和末行模式，用户可以在这些模式之间切换，执行相应的操作。

3. Java基本命令

   - Java是一种跨平台的编程语言，Hadoop使用Java语言编写。

   - Java基本命令包括查看Java版本（java -version）、查看当前所有Java进程（jps）、编译Java程序（javac）、运行Java程序（java）、打包Java程序为jar文件（jar）等。

4. SSH安全通信协议

   - SSH（Secure Shell）是一种安全通信协议，用于远程管理其他机器，提供加密的网络数据传输。

   - SSH使用非对称加密，包括服务端发送公钥、客户端利用公钥加密数据、服务端利用私钥解密验证等步骤。

   - Hadoop主节点到各个从节点的SSH免密登录配置是为了方便管理整个集群。

5. Hadoop

   - Hadoop是一个分布式存储和计算的软件框架，具有高可用、弹性可扩展的特点，适合处理大规模数据。

   - Hadoop包括分布式文件系统HDFS、统一资源管理和调度框架YARN、分布式计算框架MapReduce。

   - Hadoop的运行环境需要配置操作系统（Linux）、Java环境、SSH。

   - Hadoop运行模式包括单机模式、伪分布模式和全分布模式。

   - Hadoop的生态系统涵盖了许多子系统，形成了一个庞大的体系。

   - Hadoop集群采用主从架构，包括Master（NameNode、ResourceManager）和Slave（DataNode、NodeManager）。

   - Hadoop的主要配置文件包括hadoop-env.sh、yarn-env.sh、mapred-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml等。

二：实验步骤

这里直接从hadoop的安装和jdk安装，环境配置讲起：

1.Hadoop解压后的文件目录：

2.Jdk的解压文件目录：

3.修改的环境变量的文件：

此时在master节点上修改好hadoop的配置文件：

4.配置core-site.xml：

5.配置mapred-env.sh：

6.配置hdfs-site.xml：

7.配置mapred-site.xml：

8.配置yarn-site.xml：

9.配置文件slaves：

  1. 将master节点的hadoop同步至slave1和slave2节点上

  1. 启动hadoop

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

启动结果如下图所示：

start-dfs.sh

start-yarn.sh

此时使用jps查看各个节点端口的启用情况：

主节点：

从节点：

mr-jobhistory-daemon.sh start historyserver

此时就可以进入hadoop的webui的界面了：

实验结果与分析

部署全分布模式Hadoop集群的实验结果与分析主要包括以下几个步骤：

1.网络和节点规划：首先，我们需要规划网络和节点。例如，我们可以为主节点和从节点分配不同的IP地址。

2.环境准备：这包括克隆虚拟机，网络配置，修改主机名，配置网络映射等。

3.设置SSH无密码登录节点：这是为了确保主节点可以无密码登录到所有从节点。

4.安装配置Hadoop集群：这包括配置Java、Hadoop的环境变量，配置分布式集群环境（6个配置文件），分发Hadoop集群安装目录及文件，启动和停止Hadoop集群等。

5.时间同步：安装NTP服务器，配置其他机器的时间同步。

这个过程可能会遇到一些问题，但通过不断的实践和调整，我们可以逐步优化集群的性能。

总的来说，部署全分布模式Hadoop集群是一个复杂的过程，需要对Hadoop和相关技术有深入的理解。但是，一旦集群部署成功，它将为处理大规模数据提供强大的计算能力。

相关文章：

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称 部署全分布模式Hadoop集群 实验性质 （必修、选修） 必修 实验类型（验证、设计、创新、综合） 综合 实验课时 2 实验日期 2023.10.16-2023.10.20 实验仪器设备以及实验软硬件要求 专业实验室（配有cen…...

编程日记 2023/11/26 21:33:47

Android Gradle 升级到7.x及Maven推送问题

7.0以下的Android插件工程使用Maven上传时脚本如下所示。 plugins {id com.android.libraryid kotlin-androidid maven }// 源代码一起打包 task androidSourcesJar(type: Jar) {archiveClassifier.set(sources)from android.sourceSets.main.java.sourceFiles }uploadArchive…...

编程日记 2023/11/26 21:32:46

【实战】K8S Helm部署Redis Cluster Redisinsight

文章目录 前言部署Redis Cluster安装Redis Insight写在最后 前言 在Web服务的开发过程中，Redis一直以来都有着举足轻重的作用。基本上所有的后端服务都会用这个中间件实现具体的业务场景，比如常作为系统缓存、分布式锁，也可以实现排名、定位…...

编程日记 2023/11/26 21:31:45

3.前端--HTML标签-文本图像链接【2023.11.25】

1.HTML常用标签(文本图像链接&#xff09; 文本标签 标题 <h1> - <h6> 段落<p> 我是一个段落标签 </p> 换行 <br /> <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta ht…...

编程日记 2023/11/26 21:30:44

ctfshow刷题web入门--1--ljcsd

文章目录 ctf.show。信息搜集web1web2web3web4web5web6web7web8web9web10web11web12web13web14web15web16web17web18web19web20。爆破。知识1.1 播种随机数生成器-mt_srand。参考web21--重点web22--做不出来web23web24web25web26web27web28。。。命令执行。知识1 绕过正则表达式…...

编程日记 2023/11/26 21:29:43

乘法原理 LeetCode 828. 统计子串中的唯一字符

我们定义了一个函数 countUniqueChars(s) 来统计字符串 s 中的唯一字符&#xff0c;并返回唯一字符的个数。 例如&#xff1a;s "LEETCODE" &#xff0c;则其中 "L", "T","C","O","D" 都是唯一字符&#xff0c;…...

编程日记 2023/11/26 21:28:42

python桌面开发PyQt6库和工具库QTDesigner安装和配置

一、安装PyQt6 二、安装pyqt6-tools 三、安装外部工具 四、创建QTDesigner 1.首先查找designer.exe的路径&#xff08;可以自己在窗口中选择&#xff0c;也可以使用Everything搜索&#xff09; 2.使用Everything搜索后会出现多个designer.exe,选中&#xff0c;OpenPath 3.选择…...

编程日记 2023/11/26 21:27:41

火柴棒等式

枚举 只要在保证等式正确的基础上判断火柴棒有没有用完就可以 因为数比较小&#xff0c;而且我不知道最大的等式中的数是多少&#xff0c;索性就设置为999了 还好对效率要求不大&#xff08;doge&#xff09; 要不然就得自己慢慢改最大数来试了 代码如下&#xff1a; #in…...

编程日记 2023/11/26 21:26:39

给定两个字符串 s 和 t ，找不同

题意&#xff1a; 给定两个字符串 s 和 t &#xff0c;它们只包含小写字母。 字符串 t 由字符串 s 随机重排&#xff0c;然后在随机位置添加一个字母。 请找出在 t 中被添加的字母。 示例 1&#xff1a; 输入&#xff1a;s “abcd”, t “abcde” 输出&#xff1a;“e”…...

编程日记 2023/11/26 21:25:37

从权限跳转看Activity的data android:scheme

在应用申请悬浮窗权限的时候&#xff0c;可以跳转到相应的设置界面&#xff0c;并且自动切换到应用的条目&#xff0c;高亮显示一下&#xff0c; android悬浮窗权限怎么申请 在Android中&#xff0c;要申请悬浮窗权限&#xff0c;需要以下步骤&#xff1a; 在 AndroidManifes…...

编程日记 2023/11/26 21:24:33

C++ Qt QFile用法介绍与代码演示

作者：令狐掌门 技术交流QQ群：675120140 csdn博客：https://mingshiqiang.blog.csdn.net/ 文章目录 打开和关闭文件读取文件写入文件示例代码自定义格式文件解析在Qt 中 QFile 的类用于读写本地文件系统中的文件。它继承自 QIODevice，所以它包含了许多用于数据输入和输出的功…...

编程日记 2023/11/26 21:23:32

Redis面试题：Redis的数据过期策略有哪些？

目录 面试官&#xff1a;Redis的数据过期策略有哪些 ? 惰性删除 定期删除 面试官&#xff1a;Redis的数据过期策略有哪些 ? 候选人&#xff1a; 嗯~&#xff0c;在redis中提供了两种数据过期删除策略 第一种是惰性删除&#xff0c;在设置该key过期时间后&#xff0c;我们…...

编程日记 2023/11/26 21:22:30

1.2.1 C语言结构体初始化方法总结

文章目录 结构体定义通用定义注册事项结构体初始化方法一简述示例方法二简述示例方法三简述示例方法四简述示例方法五简述示例结构体定义 通用定义 常用的结构体定义，有2种形式， 一种是关键字struct 结构体形式，如下...

编程日记 2023/11/26 21:20:26

CentOS 7 安装 Weblogic 14 版本

安装JDK程序 注意&#xff1a;安装weblogic前&#xff0c;先安装JDK&#xff01;&#xff08;要求jdk(1.7以上)&#xff09;&#xff1a; 一、创建用户组weblogic及用户weblogic groupadd weblogic useradd -g weblogic weblogic二、将下载好的jdk及weblogic上传至/home/webl…...

编程日记 2023/11/26 21:19:25

ES之x-pack-core-7.14.2许可证修改为白金版

X-Pack是什么 X-pack是elasticsearch的一个扩展包&#xff0c;将安全&#xff0c;警告&#xff0c;监视&#xff0c;图形和报告功能捆绑在一个易于安装的软件包中&#xff0c;虽然x-pack被设计为一个无缝的工作&#xff0c;但是你可以轻松的启用或者关闭一些功能。 主要分一下步…...

编程日记 2023/11/26 21:17:23

在Ubuntu18.04安装适合jdk8的eclipse

直接在Ubuntu软件那里下载的eclipse不能用&#xff0c;下载后启动会报错&#xff1a;Eclipse An error has occurred. See the log file/home/hadoop/.eclipse/ org.eclipse.platform_3.8_155965261/ configuration/1700567835954.log 上网搜索方法&#xff0c;按教程说的修改e…...

编程日记 2023/11/26 21:16:20

openlayers+jsts 实现对行政区以外的区域进行遮罩（兼容多面的情况，兼容不同的ol版本）

先抛效果图,该区域有很多个小面 之前在网上搜到的方式实现 Openlayers 为目标范围以外的区域添加遮罩 - 知乎 核心代码如下&#xff0c;如果您不需要兼容全国的所有省市&#xff0c;而刚好要加地区又是连贯的区域的话&#xff0c;该方法可行&#xff0c;但是如果需要兼容全国…...

编程日记 2023/11/26 21:15:19

【MySQL】查询进阶

&#x1f451;专栏内容&#xff1a;MySQL⛪个人主页&#xff1a;子夜的星的主页&#x1f495;座右铭&#xff1a;前路未远&#xff0c;步履不停 目录 一、数据库约束1、约束类型2、not null3、unique4、default5、primary key6、foreign key 二、新增三、查询1、聚合查询2、分组…...

编程日记 2023/11/26 21:14:18

C++学习之路（五）C++ 实现简单的文件管理系统命令行应用 - 示例代码拆分讲解

简单的文件管理系统示例介绍: 这个文件管理系统示例是一个简单的命令行程序&#xff0c;允许用户进行文件的创建、读取、追加内容和删除操作。这个示例涉及了一些基本的文件操作和用户交互。 功能概述&#xff1a; 创建文件 (createFile())&#xff1a; 用户可以输入文件名和内…...

编程日记 2023/11/26 21:13:16

Node.js下载安装及配置镜像源

一、进入官网地址下载安装包 https://nodejs.org/dist 选择对应你系统的Node.js版本 这里我选择的是Windows系统、64位 二、安装程序 &#xff08;1&#xff09;下载完成后&#xff0c;双击安装包&#xff0c;开始安装Node.js (2)直接点【Next】按钮&#xff0c;此处可根据…...

编程日记 2023/11/26 21:12:15

手把手教你用STM32H743+FreeRTOS+LWIP搭建一个能跑GUI和联网的嵌入式系统

从零构建STM32H743FreeRTOSLWIP全功能嵌入式系统实战指南 在智能家居中控、工业HMI等场景中&#xff0c;高性能MCU与实时操作系统的组合正成为开发者的首选方案。STM32H743凭借其Cortex-M7内核和丰富外设&#xff0c;配合FreeRTOS的实时调度能力&#xff0c;能够轻松应对图形渲…...

编程新知 2026/4/12 22:17:02

Pycharm远程开发终极指南：AutoDL服务器+YOLOv5环境配置（含守护进程技巧）

PyCharm远程开发实战&#xff1a;AutoDL服务器YOLOv5环境配置与稳定训练方案 远程开发已成为深度学习工程师的必备技能&#xff0c;特别是当本地硬件资源不足时&#xff0c;云服务器提供了强大的计算支持。本文将手把手带你完成从零开始的完整工作流&#xff0c;涵盖环境配置、…...

编程新知 2026/4/12 21:01:06

DHT温湿度传感器高精度驱动设计与工程实践

1. DHT系列温湿度传感器驱动库深度解析与工程实践DHT系列传感器&#xff08;DHT11、DHT22、AM2302&#xff09;是嵌入式系统中应用最广泛的低成本数字温湿度传感方案之一。其单总线异步通信协议、无需外部上拉电阻&#xff08;部分型号&#xff09;、宽工作电压范围&#xff08…...

编程新知 2026/4/12 19:09:21

Neeshck-Z-lmage_LYX_v2问题解决：常见报错与参数调节技巧

Neeshck-Z-lmage_LYX_v2问题解决&#xff1a;常见报错与参数调节技巧 1. 引言&#xff1a;为什么需要这份指南&#xff1f; 当你第一次打开Neeshck-Z-lmage_LYX_v2这个本地AI绘画工具时&#xff0c;可能会被它简洁的界面所迷惑——几个滑块、一个输入框和一个生成按钮&#x…...

编程新知 2026/4/12 18:57:18

Simulink建模避坑指南：从MAB规范看那些容易被忽略的配置细节（含代码生成优化）

Simulink建模避坑指南&#xff1a;从MAB规范看那些容易被忽略的配置细节&#xff08;含代码生成优化&#xff09; 在嵌入式系统开发中&#xff0c;Simulink模型的质量直接影响着最终产品的可靠性和性能。许多工程师在建模过程中往往只关注功能实现&#xff0c;却忽略了一些看似…...

编程新知 2026/4/12 18:40:41

【2026年最新600套毕设项目分享】在线课堂微信小程序（30036）

有需要的同学&#xff0c;源代码和配套文档领取&#xff0c;加文章最下方的名片哦 一、项目演示 项目演示视频 二、资料介绍 完整源代码&#xff08;前后端源代码SQL脚本&#xff09;配套文档&#xff08;LWPPT开题报告/任务书&#xff09;远程调试控屏包运行一键启动项目&…...

编程新知 2026/4/12 18:38:41

丹青识画常见问题解决：识别不准、风格不对怎么办？

丹青识画常见问题解决&#xff1a;识别不准、风格不对怎么办&#xff1f; 1. 理解丹青识画的工作原理 1.1 多模态AI如何"看"图片 丹青识画系统基于OFA多模态理解引擎&#xff0c;其识别过程分为三个关键阶段&#xff1a; 视觉特征提取&#xff1a;系统会分析图片…...

编程新知 2026/4/12 18:38:41

Quansloth 本地 AI 服务器使用手册

Quansloth 本地 AI 服务器使用手册 📋 目录 项目简介 系统要求 安装指南 配置说明 使用教程 多 GPU 配置 故障排除 性能优化 项目简介 什么是 Quansloth？ Quansloth 是一个基于 Google TurboQuant (ICLR 2026) 技术构建的本地 AI 服务器，专为消费级 GPU 设计。它通过 KV …...

编程新知 2026/4/12 17:58:03

Dear ImGui 终极实战手册：从零构建高效C++ GUI应用

Dear ImGui 终极实战手册&#xff1a;从零构建高效C GUI应用 【免费下载链接】imgui Dear ImGui: Bloat-free Graphical User interface for C with minimal dependencies 项目地址: https://gitcode.com/GitHub_Trending/im/imgui Dear ImGui是一个轻量级、无膨胀的C即…...

编程新知 2026/4/12 17:29:27

不用VGG16也能行？在乳腺超声分类任务上快速对比ResNet50与MobileNetV3

医学图像分类实战&#xff1a;ResNet50与MobileNetV3在乳腺超声诊断中的横向评测 当医疗AI遇上轻量化模型&#xff0c;我们该如何在精度与效率之间寻找平衡点&#xff1f;乳腺超声图像的自动分类一直是计算机辅助诊断系统的核心挑战。传统VGG16架构虽然表现稳定&#xff0c;但…...

编程新知 2026/4/12 17:06:58