Hadoop生态圈框架部署 伪集群版(一)- Linux操作系统安装及配置
文章目录
- 前言
- 一、下载CentOS镜像
- 1. 下载
- 二、创建虚拟机hadoop
- 三、CentOS安装与配置
- 1. 安装CentOS
- 2. 配置虚拟网络及虚拟网卡
- 2.1 配置虚拟网络
- 2.2 配置虚拟网卡
- 3. 安装 SSH 远程连接工具 FinalShell
- 3.1 简介
- 3.2 下载和安装
- 3.2.1 下载
- 3.2.2 安装
- 3.3 查看动态ip地址
- 3.4 使用FinalShell连接虚拟机hadoop
- 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
- 5. 重启虚拟机hadoop,并更新FinalShell的连接信息
- 6. 关闭并禁用防火墙
前言
本指南旨在帮助读者从零开始,在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机,用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统,到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南,读者可以轻松地搭建起自己的Hadoop实验平台,为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。
一、下载CentOS镜像
1. 下载
CentOS镜像下载地址:
阿里云:https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/
进入网站后,选择红框中的一种点击下载。

二、创建虚拟机hadoop
运行VMware Workstation软件后,点击创建新的虚拟机。

点击自定义(高级)©,点击下一步。

选择硬件兼容性为Workstation 16.x,点击下一步。

选择稍后安装操作系统,点击下一步。

选择客户机操作系统为Linux,版本为CentOS 7 64位,点击下一步。

自定义虚拟机名称,选择虚拟机存储目录,点击下一步。

选择处理器数量为4,每个处理器的内核数量为2,点击下一步。

设置虚拟机的内存为8192MB,点击下一步。

选择网络类型为使用网络地址转换,点击下一步。

选择SCSI控制器为LSI Logic,点击下一步。

选择虚拟磁盘类型为SCSI,点击下一步。

选择磁盘为创建新虚拟磁盘,点击下一步。

设置最大磁盘大小为40G,选择将虚拟磁盘拆分成多个文件,点击下一步。

把磁盘文件命名为hadoop.vmdk,点击下一步。

在这个页面查看虚拟机的相关配置参数,点击完成。

创建完成的虚拟机如下图所示。

三、CentOS安装与配置
1. 安装CentOS
在创建完成后的虚拟机页面点击设备下方的CD/DVD(IDE)选项,选择使用ISO映像文件,点击浏览,选择镜像文件,点击确定。

点击开启虚拟机。

启动虚拟机后,鼠标点击黑色背景部分,键盘上的上下键可以选择选项,选择Install CentOS 7,之后点击回车键。

等待加载完成后,点击空白部分,让鼠标可以选择,然后设置语言为简体中文。

设置日期和时间为亚洲上海时区,键盘为汉语,语言支持为简体中文。

设置软件选择为最小安装。


设置安装位置为自动选择分区。


设置网络和主机名,设置以太网状态为开启,主机名为hadoop,点击应用后可以在右下角看到当前主机名,点击完成。

设置完成后,点击开始安装。

开始安装后,点击ROOT密码。

输入需要设置的密码,双击完成。

设置密码完成后,可以看到已经设置root密码。

等待安装完成后点击重启。

重启完成后会跳转到登陆页面,输入用户名root,点击回车,输入密码时不会有任何字符出现,但是已经是输入了,输入密码后,点击回车登录。

2. 配置虚拟网络及虚拟网卡
2.1 配置虚拟网络



2.2 配置虚拟网卡
- 按
Win + R组合键打开“运行”对话框。 - 输入
control并按回车键,打开控制面板。




3. 安装 SSH 远程连接工具 FinalShell
3.1 简介
FinalShell 是一款功能全面的 SSH 客户端和终端模拟器,它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具,使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。
3.2 下载和安装
3.2.1 下载
下载地址:http://www.hostbuf.com/downloads/finalshell_windows_x64.exe
点击下载地址后就会开始下载,等待下载完成。
3.2.2 安装
下载完成后,双击下载好的.exe文件。

点击我接受。

点击下一步。

点击浏览选择安装目录,点击安装。

等待安装完成后点击关闭。

3.3 查看动态ip地址
输入账号root,密码123456,进行登录,然后使用如下命令查看动态ip地址。
ip addr
可以看到动态IP地址为 192.168.121.128,记住此IP地址。

3.4 使用FinalShell连接虚拟机hadoop
安装完成之后会自动运行FinalShell,或者双击桌面快捷方式运行FinalShell。
运行之后,如下图所示,点击新建SSH连接。

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号,选择认证方法为密码,输入用户名root和密码123456,点击确定。

双击新建的SSH连接,连接虚拟机hadoop。


出现如下页面则连接成功。

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
在虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop,静态ip地址为192.168.121.100。
hostnamectl set-hostname hadoop

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

5. 重启虚拟机hadoop,并更新FinalShell的连接信息
由于修改ip地址和主机名后,需要重启虚拟机使修改的配置生效,新的ip地址生效后。
点到虚拟机hadoop,然后使用Ctrl+r快捷键重启虚拟机hadoop。

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100。


然后刷新连接。


6. 关闭并禁用防火墙
执行如下命令关闭并禁用防火墙。
systemctl stop firewalld
systemctl disable firewalld

相关文章:
Hadoop生态圈框架部署 伪集群版(一)- Linux操作系统安装及配置
文章目录 前言一、下载CentOS镜像1. 下载 二、创建虚拟机hadoop三、CentOS安装与配置1. 安装CentOS2. 配置虚拟网络及虚拟网卡2.1 配置虚拟网络2.2 配置虚拟网卡 3. 安装 SSH 远程连接工具 FinalShell3.1 简介3.2 下载和安装3.2.1 下载3.2.2 安装 3.3 查看动态ip地址3.4 使用Fi…...
Go的Gin比java的Springboot更加的开箱即用?
前言 隔壁组的云计算零零后女同事,后文简称 云女士 ,非说 Go 的 Gin 框架比 Springboot 更加的开箱即用,我心想在 Java 里面 Springboot 已经打遍天下无敌手,这份底蕴岂是 Gin 能比。 但是云女士突出一个执拗,非我要…...
pickle常见Error解决
1. pickle OverflowError: cannot serialize a bytes object larger than 4 GiB 进行pickle.dump时出现上述错误,可以加上“protocol4”参数。依据:https://docs.python.org/3/library/pickle.html#data-stream-format 2. pickle EOFError: Ran out of…...
认识Java数据类型和变量
数据类型分类 基本数据类型(8个): 整数型 byte 8位 short 16位 int 32位 long 64位 默认整数类型是int类型 小数型/浮点型 float【单精度32位】 double【双进度64位】 字符型 char 16位 只能表示单个字符 布尔型 boolean 1位 只能有两个值 true 【真】 false 【…...
Qt开发技巧(二十四)滚动部件的滑动问题,Qt设置时区问题,自定义窗体样式不生效问题,编码格式问题,给按钮左边加个图,最小化后的卡死假象
继续记录一些Qt开发中的技巧操作: 1.滚动部件的滑动问题 再Linux嵌入式设备上,有时候一个页面的子部件太多,一屏放不下是需要做页面滑动,可以使用“QScrollArea”控件,拖来一个“QScrollArea”控件,将子部件…...
SHELL----正则表达式
一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下: -i 忽略大小写 -c 统计匹配的行数 -v 取反,不显示匹配的行 -w 匹配单词 -E 等价于 egrep ,即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…...
44.5.【C语言】辨析“数组指针”和“指针数组”
目录 1.数组指针 2.指针数组 执行结果 底层分析 1.数组指针 从语文的角度理解,"数组"修饰"指针".因此数组指针是指针 例如以下代码 #include <stdio.h> int main() {char a[5] { "ABCDE" };return 0;} 其中a就是数组指针,因为数…...
node.js基础学习-express框架-路由及中间件(十)
一、前言 Express 是一个简洁、灵活的 Node.js Web 应用框架。它基于 Node.js 的内置 HTTP 模块构建,提供了一系列用于构建 Web 应用程序和 API 的功能,使开发者能够更高效地处理 HTTP 请求和响应,专注于业务逻辑的实现。 其特点包括简单易用…...
使用MSYS搭建linux开发环境踩坑笔记
前言: 使用linux系统或虚拟机进行嵌入式linux开发是常规方法; 使用MSYS是用于尝鲜和研究。 由于windows和linux的差异,使用MSYS代替Linux虚拟机会遇到很多坑。 主要原因在于: 1. windows和linux文件系统的差异:win不…...
vue3+ts+vite+ElementPlus上传进度条实时更新(UPLoad和progress)。
需求: 上传文件时,展示进度条实时更新: 下面是代码片段: <!-- 添加媒体弹窗 -- 上传 --><el-dialog v-model"centerDialogVisible" title"媒体信息" width"700" :close-on-click-modal"false&qu…...
AspNet WebAPI 模型绑定问题
继承System.Web.Http.ApiController的Action的Model如果被[Serializable]定义,会导致Model的字段无法绑定。 Microsoft.AspNet.WebApi.Core.5.2.3\lib\net45\System.Web.Http.dll [Serializable] public class Model {public string id { get; set; } }public MyA…...
Android 图形系统之七:SurfaceFlinger
一. 引言 什么是 SurfaceFlinger?SurfaceFlinger 的核心作用和地位?为什么需要了解 SurfaceFlinger? 二. SurfaceFlinger 的基本概念 Surface 和 SurfaceFlinger 的关系SurfaceFlinger 与图形渲染(OpenGL ES 和 Vulkan…...
14、鸿蒙学习——管理通知角标
针对未读的通知,系统提供了角标设置接口,将未读通知个数显示在桌面图标的右上角角标上。 通知增加时,角标上显示的未读通知个数需要增加。 通知被查看后,角标上显示的未读通知个数需要减少,没有未读通知时࿰…...
TongRDS分布式内存数据缓存中间件
命令 优势 支持高达10亿级的数据缓冲,内存优化管理,避免GC性能劣化。 高并发系统设计,可充分利用多CPU资源实现并行处理。 数据采用key-value多索引方式存储,字段类型和长度可配置。 支持多台服务并行运行,服务之间可互…...
[在线实验]-RabbitMQ镜像的下载与部署
镜像下载 docker的rabbitmq镜像资源-CSDN文库 加载镜像 docker load --input rabbitmq.tar 给镜像打标签 这里发现镜像名为none,需要给镜像重命名下 docker tag [镜像id] [新镜像名称]:[新镜像标签] docker tag ebaf409ffbe2 rabbitmq:management 运行镜像…...
Linux 系统文件描述符(File Descriptor)小白级介绍
1. 概述 Linux 遵循"一切皆文件"的理念。在 Linux 系统中,文件描述符是一个索引值(非负整数),指向内核为每个进程所维护的该进程打开文件的记录表。 如上所述,每个进程都维护着一张文件描述符表。 文件描述…...
【Verilog】实验二 数据选择器的设计与vivado集成开发环境
目录 一、实验目的 二、实验环境 三、实验任务 四、实验原理 五、实验步骤 top.v mux2_1.v 一、实验目的 1. 掌握数据选择器的工作原理和逻辑功能。 2. 熟悉vivado集成开发环境。 3. 熟悉vivado中进行开发设计的流程。 二、实验环境 1. 装有vivado的计算机。 2. Sw…...
IDL学习笔记(三)OMI数据处理。hdf5文件读取,图像反转,GeoTiff区别,月季年均值计算提取输出,单位转换,运行时间计算
modis Level 2 grid 数据是全球格网化数据。一天的数据全在其中。 modis Level 1 和 2 数据是一景一景的影像。 IDL学习笔记(三)OMI数据处理 hdf5文件读取单位转换,输出hdf5数据集的图像,并检查图像经纬度是否正确,若错…...
深入浅出:PHP中的数据类型全解析
文章目录 引言理解数据类型标量类型整数 (integer)浮点数 (float)布尔值 (boolean)字符串 (string) 复合类型数组 (array)对象 (object)资源 (resource)NULL 特殊类型Callable强制类型转换 实战案例总结与展望参考资料 引言 在编程的世界里,数据类型是构建任何应用…...
要使用 OpenResty 创建一个接口,返回客户端的 IP 地址,并以 JSON 格式输出
要使用 OpenResty 创建一个接口,返回客户端的 IP 地址,并以 JSON 格式输出 要使用 OpenResty 创建一个接口,返回客户端的 IP 地址,并以 JSON 格式输出方案一解决方案(openresty使用cjson)说明:使…...
第19节 Node.js Express 框架
Express 是一个为Node.js设计的web开发框架,它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用,和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...
日语AI面试高效通关秘籍:专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下,越来越多的求职者将目光投向了日本及中日双语岗位。但是,一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧?面对生疏的日语交流环境,即便提前恶补了…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案:从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节,供应链协同管理在供应链上下游企业之间建立紧密的合作关系,通过信息共享、资源整合、业务协同等方式,实现供应链的全面管理和优化,提高供应链的效率和透明度,降低供应链的成…...
LeetCode - 394. 字符串解码
题目 394. 字符串解码 - 力扣(LeetCode) 思路 使用两个栈:一个存储重复次数,一个存储字符串 遍历输入字符串: 数字处理:遇到数字时,累积计算重复次数左括号处理:保存当前状态&a…...
JVM垃圾回收机制全解析
Java虚拟机(JVM)中的垃圾收集器(Garbage Collector,简称GC)是用于自动管理内存的机制。它负责识别和清除不再被程序使用的对象,从而释放内存空间,避免内存泄漏和内存溢出等问题。垃圾收集器在Ja…...
智能在线客服平台:数字化时代企业连接用户的 AI 中枢
随着互联网技术的飞速发展,消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁,不仅优化了客户体验,还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用,并…...
el-switch文字内置
el-switch文字内置 效果 vue <div style"color:#ffffff;font-size:14px;float:left;margin-bottom:5px;margin-right:5px;">自动加载</div> <el-switch v-model"value" active-color"#3E99FB" inactive-color"#DCDFE6"…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说,传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度,通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
【单片机期末】单片机系统设计
主要内容:系统状态机,系统时基,系统需求分析,系统构建,系统状态流图 一、题目要求 二、绘制系统状态流图 题目:根据上述描述绘制系统状态流图,注明状态转移条件及方向。 三、利用定时器产生时…...
JS设计模式(4):观察者模式
JS设计模式(4):观察者模式 一、引入 在开发中,我们经常会遇到这样的场景:一个对象的状态变化需要自动通知其他对象,比如: 电商平台中,商品库存变化时需要通知所有订阅该商品的用户;新闻网站中࿰…...
