当前位置： 首页 > news >正文

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

news 2026/2/10 19:24:17

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop
  • 三、CentOS安装与配置
    • 1. 安装CentOS
    • 2. 配置虚拟网络及虚拟网卡
      • 2.1 配置虚拟网络
      • 2.2 配置虚拟网卡
    • 3. 安装 SSH 远程连接工具 FinalShell
      • 3.1 简介
      • 3.2 下载和安装
        • 3.2.1 下载
        • 3.2.2 安装
      • 3.3 查看动态ip地址
      • 3.4 使用FinalShell连接虚拟机hadoop
    • 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
    • 5. 重启虚拟机hadoop，并更新FinalShell的连接信息
    • 6. 关闭并禁用防火墙

前言

本指南旨在帮助读者从零开始，在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机，用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统，到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南，读者可以轻松地搭建起自己的Hadoop实验平台，为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。

一、下载CentOS镜像

1. 下载

CentOS镜像下载地址：
阿里云：https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后，选择红框中的一种点击下载。
在这里插入图片描述

二、创建虚拟机hadoop

运行VMware Workstation软件后，点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©，点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x，点击下一步。

在这里插入图片描述

选择稍后安装操作系统，点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux，版本为CentOS 7 64位，点击下一步。

在这里插入图片描述

自定义虚拟机名称，选择虚拟机存储目录，点击下一步。

在这里插入图片描述

选择处理器数量为4，每个处理器的内核数量为2，点击下一步。

在这里插入图片描述

设置虚拟机的内存为8192MB，点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换，点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic，点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI，点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘，点击下一步。

在这里插入图片描述

设置最大磁盘大小为40G，选择将虚拟磁盘拆分成多个文件，点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop.vmdk，点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数，点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述

三、CentOS安装与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD（IDE）选项，选择使用ISO映像文件，点击浏览，选择镜像文件，点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后，鼠标点击黑色背景部分，键盘上的上下键可以选择选项，选择Install CentOS 7，之后点击回车键。

在这里插入图片描述

等待加载完成后，点击空白部分，让鼠标可以选择，然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区，键盘为汉语，语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述
在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述
在这里插入图片描述

设置网络和主机名，设置以太网状态为开启，主机名为hadoop，点击应用后可以在右下角看到当前主机名，点击完成。

在这里插入图片描述

设置完成后，点击开始安装。

在这里插入图片描述

开始安装后，点击ROOT密码。

在这里插入图片描述

输入需要设置的密码，双击完成。

在这里插入图片描述

设置密码完成后，可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面，输入用户名root，点击回车，输入密码时不会有任何字符出现，但是已经是输入了，输入密码后，点击回车登录。

在这里插入图片描述

2. 配置虚拟网络及虚拟网卡

2.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 配置虚拟网卡

  1. 按 Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键，打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 安装 SSH 远程连接工具 FinalShell

3.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器，它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具，使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。

3.2 下载和安装

3.2.1 下载

下载地址：http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载，等待下载完成。

3.2.2 安装

下载完成后，双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录，点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

3.3 查看动态ip地址

输入账号root，密码123456，进行登录，然后使用如下命令查看动态ip地址。

ip addr

可以看到动态IP地址为 192.168.121.128，记住此IP地址。

在这里插入图片描述

3.4 使用FinalShell连接虚拟机hadoop

安装完成之后会自动运行FinalShell，或者双击桌面快捷方式运行FinalShell。

运行之后，如下图所示，点击新建SSH连接。

在这里插入图片描述

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid

在虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop，静态ip地址为192.168.121.100。

hostnamectl set-hostname hadoop

在这里插入图片描述

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

5. 重启虚拟机hadoop，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop，然后使用Ctrl+r快捷键重启虚拟机hadoop。

在这里插入图片描述

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100。

在这里插入图片描述
在这里插入图片描述

然后刷新连接。

在这里插入图片描述
在这里插入图片描述

6. 关闭并禁用防火墙

执行如下命令关闭并禁用防火墙。

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

相关文章：

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

文章目录 前言一、下载CentOS镜像1. 下载 二、创建虚拟机hadoop三、CentOS安装与配置1. 安装CentOS2. 配置虚拟网络及虚拟网卡2.1 配置虚拟网络2.2 配置虚拟网卡 3. 安装 SSH 远程连接工具 FinalShell3.1 简介3.2 下载和安装3.2.1 下载3.2.2 安装 3.3 查看动态ip地址3.4 使用Fi…...

编程日记 2024/12/6 18:10:33

Go的Gin比java的Springboot更加的开箱即用？

前言 隔壁组的云计算零零后女同事&#xff0c;后文简称 云女士 &#xff0c;非说 Go 的 Gin 框架比 Springboot 更加的开箱即用&#xff0c;我心想在 Java 里面 Springboot 已经打遍天下无敌手&#xff0c;这份底蕴岂是 Gin 能比。 但是云女士突出一个执拗&#xff0c;非我要…...

编程日记 2024/12/6 18:08:30

pickle常见Error解决

1. pickle OverflowError: cannot serialize a bytes object larger than 4 GiB 进行pickle.dump时出现上述错误&#xff0c;可以加上“protocol4”参数。依据&#xff1a;https://docs.python.org/3/library/pickle.html#data-stream-format 2. pickle EOFError: Ran out of…...

编程日记 2024/12/6 18:05:26

认识Java数据类型和变量

数据类型分类 基本数据类型(8个)&#xff1a; 整数型 byte 8位 short 16位 int 32位 long 64位 默认整数类型是int类型 小数型/浮点型 float【单精度32位】 double【双进度64位】 字符型 char 16位 只能表示单个字符 布尔型 boolean 1位 只能有两个值 true 【真】 false 【…...

编程日记 2024/12/6 18:03:22

Qt开发技巧（二十四）滚动部件的滑动问题，Qt设置时区问题，自定义窗体样式不生效问题，编码格式问题，给按钮左边加个图，最小化后的卡死假象

继续记录一些Qt开发中的技巧操作&#xff1a; 1.滚动部件的滑动问题 再Linux嵌入式设备上&#xff0c;有时候一个页面的子部件太多&#xff0c;一屏放不下是需要做页面滑动&#xff0c;可以使用“QScrollArea”控件&#xff0c;拖来一个“QScrollArea”控件&#xff0c;将子部件…...

编程日记 2024/12/6 18:02:21

SHELL----正则表达式

一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下&#xff1a; -i 忽略大小写 -c 统计匹配的行数 -v 取反&#xff0c;不显示匹配的行 -w 匹配单词 -E 等价于 egrep &#xff0c;即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…...

编程日记 2024/12/6 18:01:20

44.5.【C语言】辨析“数组指针”和“指针数组”

目录 1.数组指针 2.指针数组 执行结果 底层分析 1.数组指针 从语文的角度理解,"数组"修饰"指针".因此数组指针是指针 例如以下代码 #include <stdio.h> int main() {char a[5] { "ABCDE" };return 0;} 其中a就是数组指针,因为数…...

编程日记 2024/12/6 18:00:17

node.js基础学习-express框架-路由及中间件（十）

一、前言 Express 是一个简洁、灵活的 Node.js Web 应用框架。它基于 Node.js 的内置 HTTP 模块构建&#xff0c;提供了一系列用于构建 Web 应用程序和 API 的功能&#xff0c;使开发者能够更高效地处理 HTTP 请求和响应&#xff0c;专注于业务逻辑的实现。 其特点包括简单易用…...

编程日记 2024/12/6 17:55:12

使用MSYS搭建linux开发环境踩坑笔记

前言&#xff1a; 使用linux系统或虚拟机进行嵌入式linux开发是常规方法&#xff1b; 使用MSYS是用于尝鲜和研究。 由于windows和linux的差异&#xff0c;使用MSYS代替Linux虚拟机会遇到很多坑。 主要原因在于&#xff1a; 1. windows和linux文件系统的差异&#xff1a;win不…...

编程日记 2024/12/6 17:54:11

vue3+ts+vite+ElementPlus上传进度条实时更新(UPLoad和progress)。

需求&#xff1a; 上传文件时&#xff0c;展示进度条实时更新&#xff1a; 下面是代码片段: <!-- 添加媒体弹窗 -- 上传 --><el-dialog v-model"centerDialogVisible" title"媒体信息" width"700" :close-on-click-modal"false&qu…...

编程日记 2024/12/6 17:53:09

AspNet WebAPI 模型绑定问题

继承System.Web.Http.ApiController的Action的Model如果被[Serializable]定义&#xff0c;会导致Model的字段无法绑定。 Microsoft.AspNet.WebApi.Core.5.2.3\lib\net45\System.Web.Http.dll [Serializable] public class Model {public string id { get; set; } }public MyA…...

编程日记 2024/12/6 17:52:08

Android 图形系统之七：SurfaceFlinger

一. 引言 什么是 SurfaceFlinger&#xff1f;SurfaceFlinger 的核心作用和地位&#xff1f;为什么需要了解 SurfaceFlinger&#xff1f; 二. SurfaceFlinger 的基本概念 Surface 和 SurfaceFlinger 的关系SurfaceFlinger 与图形渲染&#xff08;OpenGL ES 和 Vulkan&#xf…...

编程日记 2024/12/6 17:51:05

14、鸿蒙学习——管理通知角标

针对未读的通知&#xff0c;系统提供了角标设置接口&#xff0c;将未读通知个数显示在桌面图标的右上角角标上。 通知增加时&#xff0c;角标上显示的未读通知个数需要增加。 通知被查看后&#xff0c;角标上显示的未读通知个数需要减少&#xff0c;没有未读通知时&#xff0…...

编程日记 2024/12/6 17:49:03

TongRDS分布式内存数据缓存中间件

命令 优势 支持高达10亿级的数据缓冲&#xff0c;内存优化管理&#xff0c;避免GC性能劣化。 高并发系统设计&#xff0c;可充分利用多CPU资源实现并行处理。 数据采用key-value多索引方式存储&#xff0c;字段类型和长度可配置。 支持多台服务并行运行&#xff0c;服务之间可互…...

编程日记 2024/12/6 17:48:01

[在线实验]-RabbitMQ镜像的下载与部署

镜像下载 docker的rabbitmq镜像资源-CSDN文库 加载镜像 docker load --input rabbitmq.tar 给镜像打标签 这里发现镜像名为none&#xff0c;需要给镜像重命名下 docker tag [镜像id] [新镜像名称]:[新镜像标签] docker tag ebaf409ffbe2 rabbitmq:management 运行镜像…...

编程日记 2024/12/6 17:45:59

Linux 系统文件描述符（File Descriptor）小白级介绍

1. 概述 Linux 遵循"一切皆文件"的理念。在 Linux 系统中&#xff0c;文件描述符是一个索引值&#xff08;非负整数&#xff09;&#xff0c;指向内核为每个进程所维护的该进程打开文件的记录表。 如上所述&#xff0c;每个进程都维护着一张文件描述符表。 文件描述…...

编程日记 2024/12/6 17:39:54

【Verilog】实验二 数据选择器的设计与vivado集成开发环境

目录 一、实验目的 二、实验环境 三、实验任务 四、实验原理 五、实验步骤 top.v mux2_1.v 一、实验目的 1. 掌握数据选择器的工作原理和逻辑功能。 2. 熟悉vivado集成开发环境。 3. 熟悉vivado中进行开发设计的流程。 二、实验环境 1. 装有vivado的计算机。 2. Sw…...

编程日记 2024/12/6 17:38:53

IDL学习笔记（三）OMI数据处理。hdf5文件读取，图像反转，GeoTiff区别，月季年均值计算提取输出，单位转换，运行时间计算

modis Level 2 grid 数据是全球格网化数据。一天的数据全在其中。 modis Level 1 和 2 数据是一景一景的影像。 IDL学习笔记&#xff08;三&#xff09;OMI数据处理 hdf5文件读取单位转换&#xff0c;输出hdf5数据集的图像&#xff0c;并检查图像经纬度是否正确&#xff0c;若错…...

编程日记 2024/12/6 17:36:51

深入浅出：PHP中的数据类型全解析

文章目录 引言理解数据类型标量类型整数 (integer)浮点数 (float)布尔值 (boolean)字符串 (string) 复合类型数组 (array)对象 (object)资源 (resource)NULL 特殊类型Callable强制类型转换 实战案例总结与展望参考资料 引言 在编程的世界里&#xff0c;数据类型是构建任何应用…...

编程日记 2024/12/6 17:34:48

要使用 OpenResty 创建一个接口，返回客户端的 IP 地址，并以 JSON 格式输出

要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出 要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出方案一解决方案&#xff08;openresty使用cjson&#xff09;说明&#xff1a;使…...

编程日记 2024/12/6 17:32:46

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用&#xff0c;操作系统&#xff1a;Ubuntu24.04&#xff0c;Neofj版本&#xff1a;2025.04.0。 Apt安装 Neofj可以进行官网安装&#xff1a;Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2026/2/8 4:37:08

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank&#xff1f;由于时间太久&#xff0c;我真忘记了。搜搜发现&#xff0c;还真有人和我一样。见下面的链接&#xff1a;https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2026/2/8 20:41:51

CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型

CVPR 2025 | MIMO&#xff1a;支持视觉指代和像素对齐的医学视觉语言模型 论文信息 标题&#xff1a;MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output作者&#xff1a;Yanyuan Chen, Dexuan Xu, Yu Hu…...

编程新知 2025/10/6 14:17:21

python打卡day49

知识点回顾&#xff1a; 通道注意力模块复习空间注意力模块CBAM的定义 作业&#xff1a;尝试对今天的模型检查参数数目&#xff0c;并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...

编程新知 2026/2/7 5:37:17

PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建

制造业采购供应链管理是企业运营的核心环节&#xff0c;供应链协同管理在供应链上下游企业之间建立紧密的合作关系&#xff0c;通过信息共享、资源整合、业务协同等方式&#xff0c;实现供应链的全面管理和优化&#xff0c;提高供应链的效率和透明度&#xff0c;降低供应链的成…...

编程新知 2026/1/30 22:07:56

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年&#xff0c;截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始&#xff0c;将英文题库免费公布出来&#xff0c;并进行解析&#xff0c;帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...

编程新知 2026/1/31 7:25:57

云原生玩法三问：构建自定义开发环境

云原生玩法三问&#xff1a;构建自定义开发环境 引言 临时运维一个古董项目&#xff0c;无文档&#xff0c;无环境&#xff0c;无交接人&#xff0c;俗称三无。 运行设备的环境老&#xff0c;本地环境版本高&#xff0c;ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...

编程新知 2026/2/2 9:25:26

深度学习水论文：mamba＋图像增强

&#x1f9c0;当前视觉领域对高效长序列建模需求激增&#xff0c;对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模&#xff0c;以及动态计算优势&#xff0c;在图像质量提升和细节恢复方面有难以替代的作用。 &#x1f9c0;因此短时间内&#xff0c;就有不…...

编程新知 2026/1/26 4:52:47

LRU 缓存机制详解与实现（Java版） + 力扣解决

&#x1f4cc; LRU 缓存机制详解与实现&#xff08;Java版&#xff09; 一、&#x1f4d6; 问题背景 在日常开发中&#xff0c;我们经常会使用 缓存&#xff08;Cache&#xff09; 来提升性能。但由于内存有限&#xff0c;缓存不可能无限增长&#xff0c;于是需要策略决定&am…...

编程新知 2025/11/28 20:47:33

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时&#xff0c;遇到的一些问题总结一下 [参考文档]&#xff1a;https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现&#xff1a; 今天在看到这个教程的时候&#xff0c;在自己的电…...

编程新知 2026/1/31 6:53:53