当前位置： 首页 > news >正文

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

news 2026/1/28 15:04:42

实验名称

部署全分布模式Hadoop集群

实验性质

（必修、选修）

必修

实验类型（验证、设计、创新、综合）

综合

实验课时

2

实验日期

2023.10.16-2023.10.20

实验仪器设备以及实验软硬件要求

专业实验室（配有centos7.5系统的linux虚拟机三台）

实验目的

1. 熟练掌握Linux基本命令。

2. 掌握静态IP地址的配置、主机名和域名映射的修改。

3. 掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。

4. 理解为何需要配置SSH免密登录，掌握Linux环境下SSH的安装、免密登录的配置。

5. 熟练掌握在Linux环境下如何部署全分布模式Hadoop集群。

实验内容（实验原理、运用的理论知识、算法、程序、步骤和方法）

一：实验原理

1. Linux基本命令

   - Linux是一个免费使用和自由传播的类Unix操作系统，支持多用户、多任务、多线程和多CPU。

   - Linux基本命令包括查看当前目录（pwd）、切换目录（cd）、罗列文件（ls）、创建目录（mkdir）、拷贝文件（cp）、移动或重命名文件（mv）、删除文件（rm）、查看进程（ps）、压缩与解压文件（tar）、查看文件内容（cat）、查看机器IP配置（ip address）等。

2. vim编辑器

   - vim是一个功能强大、高度可定制的文本编辑器，是vi的加强版，支持命令模式、输入模式和末行模式。

   - vi/vim的工作模式包括命令模式、输入模式和末行模式，用户可以在这些模式之间切换，执行相应的操作。

3. Java基本命令

   - Java是一种跨平台的编程语言，Hadoop使用Java语言编写。

   - Java基本命令包括查看Java版本（java -version）、查看当前所有Java进程（jps）、编译Java程序（javac）、运行Java程序（java）、打包Java程序为jar文件（jar）等。

4. SSH安全通信协议

   - SSH（Secure Shell）是一种安全通信协议，用于远程管理其他机器，提供加密的网络数据传输。

   - SSH使用非对称加密，包括服务端发送公钥、客户端利用公钥加密数据、服务端利用私钥解密验证等步骤。

   - Hadoop主节点到各个从节点的SSH免密登录配置是为了方便管理整个集群。

5. Hadoop

   - Hadoop是一个分布式存储和计算的软件框架，具有高可用、弹性可扩展的特点，适合处理大规模数据。

   - Hadoop包括分布式文件系统HDFS、统一资源管理和调度框架YARN、分布式计算框架MapReduce。

   - Hadoop的运行环境需要配置操作系统（Linux）、Java环境、SSH。

   - Hadoop运行模式包括单机模式、伪分布模式和全分布模式。

   - Hadoop的生态系统涵盖了许多子系统，形成了一个庞大的体系。

   - Hadoop集群采用主从架构，包括Master（NameNode、ResourceManager）和Slave（DataNode、NodeManager）。

   - Hadoop的主要配置文件包括hadoop-env.sh、yarn-env.sh、mapred-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml等。

二：实验步骤

这里直接从hadoop的安装和jdk安装，环境配置讲起：

1.Hadoop解压后的文件目录：

2.Jdk的解压文件目录：

3.修改的环境变量的文件：

此时在master节点上修改好hadoop的配置文件：

4.配置core-site.xml：

5.配置mapred-env.sh：

6.配置hdfs-site.xml：

7.配置mapred-site.xml：

8.配置yarn-site.xml：

9.配置文件slaves：

  1. 将master节点的hadoop同步至slave1和slave2节点上

  1. 启动hadoop

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

启动结果如下图所示：

start-dfs.sh

start-yarn.sh

此时使用jps查看各个节点端口的启用情况：

主节点：

从节点：

mr-jobhistory-daemon.sh start historyserver

此时就可以进入hadoop的webui的界面了：

实验结果与分析

部署全分布模式Hadoop集群的实验结果与分析主要包括以下几个步骤：

1.网络和节点规划：首先，我们需要规划网络和节点。例如，我们可以为主节点和从节点分配不同的IP地址。

2.环境准备：这包括克隆虚拟机，网络配置，修改主机名，配置网络映射等。

3.设置SSH无密码登录节点：这是为了确保主节点可以无密码登录到所有从节点。

4.安装配置Hadoop集群：这包括配置Java、Hadoop的环境变量，配置分布式集群环境（6个配置文件），分发Hadoop集群安装目录及文件，启动和停止Hadoop集群等。

5.时间同步：安装NTP服务器，配置其他机器的时间同步。

这个过程可能会遇到一些问题，但通过不断的实践和调整，我们可以逐步优化集群的性能。

总的来说，部署全分布模式Hadoop集群是一个复杂的过程，需要对Hadoop和相关技术有深入的理解。但是，一旦集群部署成功，它将为处理大规模数据提供强大的计算能力。

相关文章：

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称 部署全分布模式Hadoop集群 实验性质 （必修、选修） 必修 实验类型（验证、设计、创新、综合） 综合 实验课时 2 实验日期 2023.10.16-2023.10.20 实验仪器设备以及实验软硬件要求 专业实验室（配有cen…...

编程日记 2023/11/26 21:33:47

Android Gradle 升级到7.x及Maven推送问题

7.0以下的Android插件工程使用Maven上传时脚本如下所示。 plugins {id com.android.libraryid kotlin-androidid maven }// 源代码一起打包 task androidSourcesJar(type: Jar) {archiveClassifier.set(sources)from android.sourceSets.main.java.sourceFiles }uploadArchive…...

编程日记 2023/11/26 21:32:46

【实战】K8S Helm部署Redis Cluster Redisinsight

文章目录 前言部署Redis Cluster安装Redis Insight写在最后 前言 在Web服务的开发过程中，Redis一直以来都有着举足轻重的作用。基本上所有的后端服务都会用这个中间件实现具体的业务场景，比如常作为系统缓存、分布式锁，也可以实现排名、定位…...

编程日记 2023/11/26 21:31:45

3.前端--HTML标签-文本图像链接【2023.11.25】

1.HTML常用标签(文本图像链接&#xff09; 文本标签 标题 <h1> - <h6> 段落<p> 我是一个段落标签 </p> 换行 <br /> <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta ht…...

编程日记 2023/11/26 21:30:44

ctfshow刷题web入门--1--ljcsd

文章目录 ctf.show。信息搜集web1web2web3web4web5web6web7web8web9web10web11web12web13web14web15web16web17web18web19web20。爆破。知识1.1 播种随机数生成器-mt_srand。参考web21--重点web22--做不出来web23web24web25web26web27web28。。。命令执行。知识1 绕过正则表达式…...

编程日记 2023/11/26 21:29:43

乘法原理 LeetCode 828. 统计子串中的唯一字符

我们定义了一个函数 countUniqueChars(s) 来统计字符串 s 中的唯一字符&#xff0c;并返回唯一字符的个数。 例如&#xff1a;s "LEETCODE" &#xff0c;则其中 "L", "T","C","O","D" 都是唯一字符&#xff0c;…...

编程日记 2023/11/26 21:28:42

python桌面开发PyQt6库和工具库QTDesigner安装和配置

一、安装PyQt6 二、安装pyqt6-tools 三、安装外部工具 四、创建QTDesigner 1.首先查找designer.exe的路径&#xff08;可以自己在窗口中选择&#xff0c;也可以使用Everything搜索&#xff09; 2.使用Everything搜索后会出现多个designer.exe,选中&#xff0c;OpenPath 3.选择…...

编程日记 2023/11/26 21:27:41

火柴棒等式

枚举 只要在保证等式正确的基础上判断火柴棒有没有用完就可以 因为数比较小&#xff0c;而且我不知道最大的等式中的数是多少&#xff0c;索性就设置为999了 还好对效率要求不大&#xff08;doge&#xff09; 要不然就得自己慢慢改最大数来试了 代码如下&#xff1a; #in…...

编程日记 2023/11/26 21:26:39

给定两个字符串 s 和 t ，找不同

题意&#xff1a; 给定两个字符串 s 和 t &#xff0c;它们只包含小写字母。 字符串 t 由字符串 s 随机重排&#xff0c;然后在随机位置添加一个字母。 请找出在 t 中被添加的字母。 示例 1&#xff1a; 输入&#xff1a;s “abcd”, t “abcde” 输出&#xff1a;“e”…...

编程日记 2023/11/26 21:25:37

从权限跳转看Activity的data android:scheme

在应用申请悬浮窗权限的时候&#xff0c;可以跳转到相应的设置界面&#xff0c;并且自动切换到应用的条目&#xff0c;高亮显示一下&#xff0c; android悬浮窗权限怎么申请 在Android中&#xff0c;要申请悬浮窗权限&#xff0c;需要以下步骤&#xff1a; 在 AndroidManifes…...

编程日记 2023/11/26 21:24:33

C++ Qt QFile用法介绍与代码演示

作者：令狐掌门 技术交流QQ群：675120140 csdn博客：https://mingshiqiang.blog.csdn.net/ 文章目录 打开和关闭文件读取文件写入文件示例代码自定义格式文件解析在Qt 中 QFile 的类用于读写本地文件系统中的文件。它继承自 QIODevice，所以它包含了许多用于数据输入和输出的功…...

编程日记 2023/11/26 21:23:32

Redis面试题：Redis的数据过期策略有哪些？

目录 面试官&#xff1a;Redis的数据过期策略有哪些 ? 惰性删除 定期删除 面试官&#xff1a;Redis的数据过期策略有哪些 ? 候选人&#xff1a; 嗯~&#xff0c;在redis中提供了两种数据过期删除策略 第一种是惰性删除&#xff0c;在设置该key过期时间后&#xff0c;我们…...

编程日记 2023/11/26 21:22:30

1.2.1 C语言结构体初始化方法总结

文章目录 结构体定义通用定义注册事项结构体初始化方法一简述示例方法二简述示例方法三简述示例方法四简述示例方法五简述示例结构体定义 通用定义 常用的结构体定义，有2种形式， 一种是关键字struct 结构体形式，如下...

编程日记 2023/11/26 21:20:26

CentOS 7 安装 Weblogic 14 版本

安装JDK程序 注意&#xff1a;安装weblogic前&#xff0c;先安装JDK&#xff01;&#xff08;要求jdk(1.7以上)&#xff09;&#xff1a; 一、创建用户组weblogic及用户weblogic groupadd weblogic useradd -g weblogic weblogic二、将下载好的jdk及weblogic上传至/home/webl…...

编程日记 2023/11/26 21:19:25

ES之x-pack-core-7.14.2许可证修改为白金版

X-Pack是什么 X-pack是elasticsearch的一个扩展包&#xff0c;将安全&#xff0c;警告&#xff0c;监视&#xff0c;图形和报告功能捆绑在一个易于安装的软件包中&#xff0c;虽然x-pack被设计为一个无缝的工作&#xff0c;但是你可以轻松的启用或者关闭一些功能。 主要分一下步…...

编程日记 2023/11/26 21:17:23

在Ubuntu18.04安装适合jdk8的eclipse

直接在Ubuntu软件那里下载的eclipse不能用&#xff0c;下载后启动会报错&#xff1a;Eclipse An error has occurred. See the log file/home/hadoop/.eclipse/ org.eclipse.platform_3.8_155965261/ configuration/1700567835954.log 上网搜索方法&#xff0c;按教程说的修改e…...

编程日记 2023/11/26 21:16:20

openlayers+jsts 实现对行政区以外的区域进行遮罩（兼容多面的情况，兼容不同的ol版本）

先抛效果图,该区域有很多个小面 之前在网上搜到的方式实现 Openlayers 为目标范围以外的区域添加遮罩 - 知乎 核心代码如下&#xff0c;如果您不需要兼容全国的所有省市&#xff0c;而刚好要加地区又是连贯的区域的话&#xff0c;该方法可行&#xff0c;但是如果需要兼容全国…...

编程日记 2023/11/26 21:15:19

【MySQL】查询进阶

&#x1f451;专栏内容&#xff1a;MySQL⛪个人主页&#xff1a;子夜的星的主页&#x1f495;座右铭&#xff1a;前路未远&#xff0c;步履不停 目录 一、数据库约束1、约束类型2、not null3、unique4、default5、primary key6、foreign key 二、新增三、查询1、聚合查询2、分组…...

编程日记 2023/11/26 21:14:18

C++学习之路（五）C++ 实现简单的文件管理系统命令行应用 - 示例代码拆分讲解

简单的文件管理系统示例介绍: 这个文件管理系统示例是一个简单的命令行程序&#xff0c;允许用户进行文件的创建、读取、追加内容和删除操作。这个示例涉及了一些基本的文件操作和用户交互。 功能概述&#xff1a; 创建文件 (createFile())&#xff1a; 用户可以输入文件名和内…...

编程日记 2023/11/26 21:13:16

Node.js下载安装及配置镜像源

一、进入官网地址下载安装包 https://nodejs.org/dist 选择对应你系统的Node.js版本 这里我选择的是Windows系统、64位 二、安装程序 &#xff08;1&#xff09;下载完成后&#xff0c;双击安装包&#xff0c;开始安装Node.js (2)直接点【Next】按钮&#xff0c;此处可根据…...

编程日记 2023/11/26 21:12:15

KubeSphere 容器平台高可用：环境搭建与可视化操作指南

Linux_k8s篇 欢迎来到Linux的世界&#xff0c;看笔记好好学多敲多打&#xff0c;每个人都是大神&#xff01; 题目&#xff1a;KubeSphere 容器平台高可用&#xff1a;环境搭建与可视化操作指南 版本号: 1.0,0 作者: 老王要学习 日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

编程新知 2026/1/25 17:14:18

Docker 离线安装指南

参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性&#xff0c;不同版本的Docker对内核版本有不同要求。例如&#xff0c;Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本&#xff0c;Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...

编程新知 2026/1/28 9:18:34

装饰模式（Decorator Pattern）重构java邮件发奖系统实战

前言 现在我们有个如下的需求&#xff0c;设计一个邮件发奖的小系统&#xff0c; 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式&#xff08;Decorator Pattern&#xff09;允许向一个现有的对象添加新的功能&#xff0c;同时又不改变其…...

编程新知 2026/1/24 22:31:08

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

编程新知 2025/9/21 0:49:02

【机器视觉】单目测距——运动结构恢复

ps&#xff1a;图是随便找的&#xff0c;为了凑个封面 前言 在前面对光流法进行进一步改进&#xff0c;希望将2D光流推广至3D场景流时&#xff0c;发现2D转3D过程中存在尺度歧义问题&#xff0c;需要补全摄像头拍摄图像中缺失的深度信息&#xff0c;否则解空间不收敛&#xf…...

编程新知 2026/1/24 20:17:55

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

NFT模式：数字资产确权与链游经济系统构建

NFT模式&#xff1a;数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新&#xff1a;构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议&#xff1a;基于LayerZero协议实现以太坊、Solana等公链资产互通&#xff0c;通过零知…...

编程新知 2026/1/21 20:35:17

k8s业务程序联调工具-KtConnect

概述 原理 工具作用是建立了一个从本地到集群的单向VPN&#xff0c;根据VPN原理&#xff0c;打通两个内网必然需要借助一个公共中继节点&#xff0c;ktconnect工具巧妙的利用k8s原生的portforward能力&#xff0c;简化了建立连接的过程&#xff0c;apiserver间接起到了中继节…...

编程新知 2026/1/15 5:17:33

关键领域软件测试的突围之路：如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件&#xff0c;这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下&#xff0c;实现高效测试与快速迭代&#xff1f;这一命题正考验着…...

编程新知 2026/1/27 13:20:11

JAVA后端开发——多租户

数据隔离是多租户系统中的核心概念&#xff0c;确保一个租户&#xff08;在这个系统中可能是一个公司或一个独立的客户&#xff09;的数据对其他租户是不可见的。在 RuoYi 框架&#xff08;您当前项目所使用的基础框架&#xff09;中&#xff0c;这通常是通过在数据表中增加一个…...

编程新知 2025/12/18 8:35:12