当前位置： 首页 > news >正文

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

news 2026/2/10 15:12:21

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop
  • 三、CentOS安装与配置
    • 1. 安装CentOS
    • 2. 配置虚拟网络及虚拟网卡
      • 2.1 配置虚拟网络
      • 2.2 配置虚拟网卡
    • 3. 安装 SSH 远程连接工具 FinalShell
      • 3.1 简介
      • 3.2 下载和安装
        • 3.2.1 下载
        • 3.2.2 安装
      • 3.3 查看动态ip地址
      • 3.4 使用FinalShell连接虚拟机hadoop
    • 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
    • 5. 重启虚拟机hadoop，并更新FinalShell的连接信息
    • 6. 关闭并禁用防火墙

前言

本指南旨在帮助读者从零开始，在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机，用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统，到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南，读者可以轻松地搭建起自己的Hadoop实验平台，为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。

一、下载CentOS镜像

1. 下载

CentOS镜像下载地址：
阿里云：https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后，选择红框中的一种点击下载。
在这里插入图片描述

二、创建虚拟机hadoop

运行VMware Workstation软件后，点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©，点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x，点击下一步。

在这里插入图片描述

选择稍后安装操作系统，点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux，版本为CentOS 7 64位，点击下一步。

在这里插入图片描述

自定义虚拟机名称，选择虚拟机存储目录，点击下一步。

在这里插入图片描述

选择处理器数量为4，每个处理器的内核数量为2，点击下一步。

在这里插入图片描述

设置虚拟机的内存为8192MB，点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换，点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic，点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI，点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘，点击下一步。

在这里插入图片描述

设置最大磁盘大小为40G，选择将虚拟磁盘拆分成多个文件，点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop.vmdk，点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数，点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述

三、CentOS安装与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD（IDE）选项，选择使用ISO映像文件，点击浏览，选择镜像文件，点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后，鼠标点击黑色背景部分，键盘上的上下键可以选择选项，选择Install CentOS 7，之后点击回车键。

在这里插入图片描述

等待加载完成后，点击空白部分，让鼠标可以选择，然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区，键盘为汉语，语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述
在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述
在这里插入图片描述

设置网络和主机名，设置以太网状态为开启，主机名为hadoop，点击应用后可以在右下角看到当前主机名，点击完成。

在这里插入图片描述

设置完成后，点击开始安装。

在这里插入图片描述

开始安装后，点击ROOT密码。

在这里插入图片描述

输入需要设置的密码，双击完成。

在这里插入图片描述

设置密码完成后，可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面，输入用户名root，点击回车，输入密码时不会有任何字符出现，但是已经是输入了，输入密码后，点击回车登录。

在这里插入图片描述

2. 配置虚拟网络及虚拟网卡

2.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 配置虚拟网卡

  1. 按 Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键，打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 安装 SSH 远程连接工具 FinalShell

3.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器，它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具，使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。

3.2 下载和安装

3.2.1 下载

下载地址：http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载，等待下载完成。

3.2.2 安装

下载完成后，双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录，点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

3.3 查看动态ip地址

输入账号root，密码123456，进行登录，然后使用如下命令查看动态ip地址。

ip addr

可以看到动态IP地址为 192.168.121.128，记住此IP地址。

在这里插入图片描述

3.4 使用FinalShell连接虚拟机hadoop

安装完成之后会自动运行FinalShell，或者双击桌面快捷方式运行FinalShell。

运行之后，如下图所示，点击新建SSH连接。

在这里插入图片描述

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid

在虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop，静态ip地址为192.168.121.100。

hostnamectl set-hostname hadoop

在这里插入图片描述

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

5. 重启虚拟机hadoop，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop，然后使用Ctrl+r快捷键重启虚拟机hadoop。

在这里插入图片描述

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100。

在这里插入图片描述
在这里插入图片描述

然后刷新连接。

在这里插入图片描述
在这里插入图片描述

6. 关闭并禁用防火墙

执行如下命令关闭并禁用防火墙。

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

相关文章：

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

文章目录 前言一、下载CentOS镜像1. 下载 二、创建虚拟机hadoop三、CentOS安装与配置1. 安装CentOS2. 配置虚拟网络及虚拟网卡2.1 配置虚拟网络2.2 配置虚拟网卡 3. 安装 SSH 远程连接工具 FinalShell3.1 简介3.2 下载和安装3.2.1 下载3.2.2 安装 3.3 查看动态ip地址3.4 使用Fi…...

编程日记 2024/12/6 18:10:33

Go的Gin比java的Springboot更加的开箱即用？

前言 隔壁组的云计算零零后女同事&#xff0c;后文简称 云女士 &#xff0c;非说 Go 的 Gin 框架比 Springboot 更加的开箱即用&#xff0c;我心想在 Java 里面 Springboot 已经打遍天下无敌手&#xff0c;这份底蕴岂是 Gin 能比。 但是云女士突出一个执拗&#xff0c;非我要…...

编程日记 2024/12/6 18:08:30

pickle常见Error解决

1. pickle OverflowError: cannot serialize a bytes object larger than 4 GiB 进行pickle.dump时出现上述错误&#xff0c;可以加上“protocol4”参数。依据&#xff1a;https://docs.python.org/3/library/pickle.html#data-stream-format 2. pickle EOFError: Ran out of…...

编程日记 2024/12/6 18:05:26

认识Java数据类型和变量

数据类型分类 基本数据类型(8个)&#xff1a; 整数型 byte 8位 short 16位 int 32位 long 64位 默认整数类型是int类型 小数型/浮点型 float【单精度32位】 double【双进度64位】 字符型 char 16位 只能表示单个字符 布尔型 boolean 1位 只能有两个值 true 【真】 false 【…...

编程日记 2024/12/6 18:03:22

Qt开发技巧（二十四）滚动部件的滑动问题，Qt设置时区问题，自定义窗体样式不生效问题，编码格式问题，给按钮左边加个图，最小化后的卡死假象

继续记录一些Qt开发中的技巧操作&#xff1a; 1.滚动部件的滑动问题 再Linux嵌入式设备上&#xff0c;有时候一个页面的子部件太多&#xff0c;一屏放不下是需要做页面滑动&#xff0c;可以使用“QScrollArea”控件&#xff0c;拖来一个“QScrollArea”控件&#xff0c;将子部件…...

编程日记 2024/12/6 18:02:21

SHELL----正则表达式

一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下&#xff1a; -i 忽略大小写 -c 统计匹配的行数 -v 取反&#xff0c;不显示匹配的行 -w 匹配单词 -E 等价于 egrep &#xff0c;即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…...

编程日记 2024/12/6 18:01:20

44.5.【C语言】辨析“数组指针”和“指针数组”

目录 1.数组指针 2.指针数组 执行结果 底层分析 1.数组指针 从语文的角度理解,"数组"修饰"指针".因此数组指针是指针 例如以下代码 #include <stdio.h> int main() {char a[5] { "ABCDE" };return 0;} 其中a就是数组指针,因为数…...

编程日记 2024/12/6 18:00:17

node.js基础学习-express框架-路由及中间件（十）

一、前言 Express 是一个简洁、灵活的 Node.js Web 应用框架。它基于 Node.js 的内置 HTTP 模块构建&#xff0c;提供了一系列用于构建 Web 应用程序和 API 的功能&#xff0c;使开发者能够更高效地处理 HTTP 请求和响应&#xff0c;专注于业务逻辑的实现。 其特点包括简单易用…...

编程日记 2024/12/6 17:55:12

使用MSYS搭建linux开发环境踩坑笔记

前言&#xff1a; 使用linux系统或虚拟机进行嵌入式linux开发是常规方法&#xff1b; 使用MSYS是用于尝鲜和研究。 由于windows和linux的差异&#xff0c;使用MSYS代替Linux虚拟机会遇到很多坑。 主要原因在于&#xff1a; 1. windows和linux文件系统的差异&#xff1a;win不…...

编程日记 2024/12/6 17:54:11

vue3+ts+vite+ElementPlus上传进度条实时更新(UPLoad和progress)。

需求&#xff1a; 上传文件时&#xff0c;展示进度条实时更新&#xff1a; 下面是代码片段: <!-- 添加媒体弹窗 -- 上传 --><el-dialog v-model"centerDialogVisible" title"媒体信息" width"700" :close-on-click-modal"false&qu…...

编程日记 2024/12/6 17:53:09

AspNet WebAPI 模型绑定问题

继承System.Web.Http.ApiController的Action的Model如果被[Serializable]定义&#xff0c;会导致Model的字段无法绑定。 Microsoft.AspNet.WebApi.Core.5.2.3\lib\net45\System.Web.Http.dll [Serializable] public class Model {public string id { get; set; } }public MyA…...

编程日记 2024/12/6 17:52:08

Android 图形系统之七：SurfaceFlinger

一. 引言 什么是 SurfaceFlinger&#xff1f;SurfaceFlinger 的核心作用和地位&#xff1f;为什么需要了解 SurfaceFlinger&#xff1f; 二. SurfaceFlinger 的基本概念 Surface 和 SurfaceFlinger 的关系SurfaceFlinger 与图形渲染&#xff08;OpenGL ES 和 Vulkan&#xf…...

编程日记 2024/12/6 17:51:05

14、鸿蒙学习——管理通知角标

针对未读的通知&#xff0c;系统提供了角标设置接口&#xff0c;将未读通知个数显示在桌面图标的右上角角标上。 通知增加时&#xff0c;角标上显示的未读通知个数需要增加。 通知被查看后&#xff0c;角标上显示的未读通知个数需要减少&#xff0c;没有未读通知时&#xff0…...

编程日记 2024/12/6 17:49:03

TongRDS分布式内存数据缓存中间件

命令 优势 支持高达10亿级的数据缓冲&#xff0c;内存优化管理&#xff0c;避免GC性能劣化。 高并发系统设计&#xff0c;可充分利用多CPU资源实现并行处理。 数据采用key-value多索引方式存储&#xff0c;字段类型和长度可配置。 支持多台服务并行运行&#xff0c;服务之间可互…...

编程日记 2024/12/6 17:48:01

[在线实验]-RabbitMQ镜像的下载与部署

镜像下载 docker的rabbitmq镜像资源-CSDN文库 加载镜像 docker load --input rabbitmq.tar 给镜像打标签 这里发现镜像名为none&#xff0c;需要给镜像重命名下 docker tag [镜像id] [新镜像名称]:[新镜像标签] docker tag ebaf409ffbe2 rabbitmq:management 运行镜像…...

编程日记 2024/12/6 17:45:59

Linux 系统文件描述符（File Descriptor）小白级介绍

1. 概述 Linux 遵循"一切皆文件"的理念。在 Linux 系统中&#xff0c;文件描述符是一个索引值&#xff08;非负整数&#xff09;&#xff0c;指向内核为每个进程所维护的该进程打开文件的记录表。 如上所述&#xff0c;每个进程都维护着一张文件描述符表。 文件描述…...

编程日记 2024/12/6 17:39:54

【Verilog】实验二 数据选择器的设计与vivado集成开发环境

目录 一、实验目的 二、实验环境 三、实验任务 四、实验原理 五、实验步骤 top.v mux2_1.v 一、实验目的 1. 掌握数据选择器的工作原理和逻辑功能。 2. 熟悉vivado集成开发环境。 3. 熟悉vivado中进行开发设计的流程。 二、实验环境 1. 装有vivado的计算机。 2. Sw…...

编程日记 2024/12/6 17:38:53

IDL学习笔记（三）OMI数据处理。hdf5文件读取，图像反转，GeoTiff区别，月季年均值计算提取输出，单位转换，运行时间计算

modis Level 2 grid 数据是全球格网化数据。一天的数据全在其中。 modis Level 1 和 2 数据是一景一景的影像。 IDL学习笔记&#xff08;三&#xff09;OMI数据处理 hdf5文件读取单位转换&#xff0c;输出hdf5数据集的图像&#xff0c;并检查图像经纬度是否正确&#xff0c;若错…...

编程日记 2024/12/6 17:36:51

深入浅出：PHP中的数据类型全解析

文章目录 引言理解数据类型标量类型整数 (integer)浮点数 (float)布尔值 (boolean)字符串 (string) 复合类型数组 (array)对象 (object)资源 (resource)NULL 特殊类型Callable强制类型转换 实战案例总结与展望参考资料 引言 在编程的世界里&#xff0c;数据类型是构建任何应用…...

编程日记 2024/12/6 17:34:48

要使用 OpenResty 创建一个接口，返回客户端的 IP 地址，并以 JSON 格式输出

要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出 要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出方案一解决方案&#xff08;openresty使用cjson&#xff09;说明&#xff1a;使…...

编程日记 2024/12/6 17:32:46

UE5 学习系列（二）用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇&#xff0c;在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下&#xff1a; 【Note】&#xff1a;如果你已经完成安装等操作&#xff0c;可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作&#xff0c;重…...

编程新知 2026/2/10 11:02:44

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架&#xff0c;它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用&#xff0c;和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

编程新知 2026/2/8 6:37:43

eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)

说明&#xff1a; 想象一下&#xff0c;你正在用eNSP搭建一个虚拟的网络世界&#xff0c;里面有虚拟的路由器、交换机、电脑&#xff08;PC&#xff09;等等。这些设备都在你的电脑里面“运行”&#xff0c;它们之间可以互相通信&#xff0c;就像一个封闭的小王国。 但是&#…...

编程新知 2026/2/8 4:37:17

椭圆曲线密码学(ECC)

一、ECC算法概述 椭圆曲线密码学&#xff08;Elliptic Curve Cryptography&#xff09;是基于椭圆曲线数学理论的公钥密码系统&#xff0c;由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA&#xff0c;ECC在相同安全强度下密钥更短&#xff08;256位ECC ≈ 3072位RSA…...

编程新知 2025/10/1 22:26:06

K8S认证|CKS题库+答案| 11. AppArmor

目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作&#xff1a; 1&#xff09;、切换集群 2&#xff09;、切换节点 3&#xff09;、切换到 apparmor 的目录 4&#xff09;、执行 apparmor 策略模块 5&#xff09;、修改 pod 文件 6&#xff09;、…...

编程新知 2026/1/29 2:11:35

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2026/1/24 14:31:01

Go 语言接口详解

Go 语言接口详解 核心概念 接口定义 在 Go 语言中&#xff0c;接口是一种抽象类型&#xff0c;它定义了一组方法的集合&#xff1a; // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的&#xff1a; // 矩形结构体…...

编程新知 2026/1/4 5:19:25

LeetCode - 394. 字符串解码

题目 394. 字符串解码 - 力扣&#xff08;LeetCode&#xff09; 思路 使用两个栈&#xff1a;一个存储重复次数&#xff0c;一个存储字符串 遍历输入字符串&#xff1a; 数字处理&#xff1a;遇到数字时&#xff0c;累积计算重复次数左括号处理&#xff1a;保存当前状态&a…...

编程新知 2026/1/25 10:09:59

蓝桥杯 2024 15届国赛 A组 儿童节快乐

P10576 [蓝桥杯 2024 国 A] 儿童节快乐 题目描述 五彩斑斓的气球在蓝天下悠然飘荡&#xff0c;轻快的音乐在耳边持续回荡&#xff0c;小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下&#xff0c;六一来了。 今天是六一儿童节&#xff0c;小蓝老师为了让大家在节…...

编程新知 2025/12/5 2:40:04

测试markdown--肇兴

day1&#xff1a; 1、去程&#xff1a;7:04 --11:32高铁 高铁右转上售票大厅2楼&#xff0c;穿过候车厅下一楼&#xff0c;上大巴车 &#xffe5;10/人 **2、到达&#xff1a;**12点多到达寨子&#xff0c;买门票&#xff0c;美团/抖音&#xff1a;&#xffe5;78人 3、中饭&a…...

编程新知 2025/12/14 11:45:02