当前位置： 首页 > news >正文

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

news 2026/4/2 17:16:00

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop
  • 三、CentOS安装与配置
    • 1. 安装CentOS
    • 2. 配置虚拟网络及虚拟网卡
      • 2.1 配置虚拟网络
      • 2.2 配置虚拟网卡
    • 3. 安装 SSH 远程连接工具 FinalShell
      • 3.1 简介
      • 3.2 下载和安装
        • 3.2.1 下载
        • 3.2.2 安装
      • 3.3 查看动态ip地址
      • 3.4 使用FinalShell连接虚拟机hadoop
    • 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
    • 5. 重启虚拟机hadoop，并更新FinalShell的连接信息
    • 6. 关闭并禁用防火墙

前言

本指南旨在帮助读者从零开始，在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机，用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统，到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南，读者可以轻松地搭建起自己的Hadoop实验平台，为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。

一、下载CentOS镜像

1. 下载

CentOS镜像下载地址：
阿里云：https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后，选择红框中的一种点击下载。
在这里插入图片描述

二、创建虚拟机hadoop

运行VMware Workstation软件后，点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©，点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x，点击下一步。

在这里插入图片描述

选择稍后安装操作系统，点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux，版本为CentOS 7 64位，点击下一步。

在这里插入图片描述

自定义虚拟机名称，选择虚拟机存储目录，点击下一步。

在这里插入图片描述

选择处理器数量为4，每个处理器的内核数量为2，点击下一步。

在这里插入图片描述

设置虚拟机的内存为8192MB，点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换，点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic，点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI，点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘，点击下一步。

在这里插入图片描述

设置最大磁盘大小为40G，选择将虚拟磁盘拆分成多个文件，点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop.vmdk，点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数，点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述

三、CentOS安装与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD（IDE）选项，选择使用ISO映像文件，点击浏览，选择镜像文件，点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后，鼠标点击黑色背景部分，键盘上的上下键可以选择选项，选择Install CentOS 7，之后点击回车键。

在这里插入图片描述

等待加载完成后，点击空白部分，让鼠标可以选择，然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区，键盘为汉语，语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述
在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述
在这里插入图片描述

设置网络和主机名，设置以太网状态为开启，主机名为hadoop，点击应用后可以在右下角看到当前主机名，点击完成。

在这里插入图片描述

设置完成后，点击开始安装。

在这里插入图片描述

开始安装后，点击ROOT密码。

在这里插入图片描述

输入需要设置的密码，双击完成。

在这里插入图片描述

设置密码完成后，可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面，输入用户名root，点击回车，输入密码时不会有任何字符出现，但是已经是输入了，输入密码后，点击回车登录。

在这里插入图片描述

2. 配置虚拟网络及虚拟网卡

2.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 配置虚拟网卡

  1. 按 Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键，打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 安装 SSH 远程连接工具 FinalShell

3.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器，它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具，使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。

3.2 下载和安装

3.2.1 下载

下载地址：http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载，等待下载完成。

3.2.2 安装

下载完成后，双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录，点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

3.3 查看动态ip地址

输入账号root，密码123456，进行登录，然后使用如下命令查看动态ip地址。

ip addr

可以看到动态IP地址为 192.168.121.128，记住此IP地址。

在这里插入图片描述

3.4 使用FinalShell连接虚拟机hadoop

安装完成之后会自动运行FinalShell，或者双击桌面快捷方式运行FinalShell。

运行之后，如下图所示，点击新建SSH连接。

在这里插入图片描述

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid

在虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop，静态ip地址为192.168.121.100。

hostnamectl set-hostname hadoop

在这里插入图片描述

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

5. 重启虚拟机hadoop，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop，然后使用Ctrl+r快捷键重启虚拟机hadoop。

在这里插入图片描述

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100。

在这里插入图片描述
在这里插入图片描述

然后刷新连接。

在这里插入图片描述
在这里插入图片描述

6. 关闭并禁用防火墙

执行如下命令关闭并禁用防火墙。

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

相关文章：

Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

文章目录 前言一、下载CentOS镜像1. 下载 二、创建虚拟机hadoop三、CentOS安装与配置1. 安装CentOS2. 配置虚拟网络及虚拟网卡2.1 配置虚拟网络2.2 配置虚拟网卡 3. 安装 SSH 远程连接工具 FinalShell3.1 简介3.2 下载和安装3.2.1 下载3.2.2 安装 3.3 查看动态ip地址3.4 使用Fi…...

编程日记 2024/12/6 18:10:33

Go的Gin比java的Springboot更加的开箱即用？

前言 隔壁组的云计算零零后女同事&#xff0c;后文简称 云女士 &#xff0c;非说 Go 的 Gin 框架比 Springboot 更加的开箱即用&#xff0c;我心想在 Java 里面 Springboot 已经打遍天下无敌手&#xff0c;这份底蕴岂是 Gin 能比。 但是云女士突出一个执拗&#xff0c;非我要…...

编程日记 2024/12/6 18:08:30

pickle常见Error解决

1. pickle OverflowError: cannot serialize a bytes object larger than 4 GiB 进行pickle.dump时出现上述错误&#xff0c;可以加上“protocol4”参数。依据&#xff1a;https://docs.python.org/3/library/pickle.html#data-stream-format 2. pickle EOFError: Ran out of…...

编程日记 2024/12/6 18:05:26

认识Java数据类型和变量

数据类型分类 基本数据类型(8个)&#xff1a; 整数型 byte 8位 short 16位 int 32位 long 64位 默认整数类型是int类型 小数型/浮点型 float【单精度32位】 double【双进度64位】 字符型 char 16位 只能表示单个字符 布尔型 boolean 1位 只能有两个值 true 【真】 false 【…...

编程日记 2024/12/6 18:03:22

Qt开发技巧（二十四）滚动部件的滑动问题，Qt设置时区问题，自定义窗体样式不生效问题，编码格式问题，给按钮左边加个图，最小化后的卡死假象

继续记录一些Qt开发中的技巧操作&#xff1a; 1.滚动部件的滑动问题 再Linux嵌入式设备上&#xff0c;有时候一个页面的子部件太多&#xff0c;一屏放不下是需要做页面滑动&#xff0c;可以使用“QScrollArea”控件&#xff0c;拖来一个“QScrollArea”控件&#xff0c;将子部件…...

编程日记 2024/12/6 18:02:21

SHELL----正则表达式

一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下&#xff1a; -i 忽略大小写 -c 统计匹配的行数 -v 取反&#xff0c;不显示匹配的行 -w 匹配单词 -E 等价于 egrep &#xff0c;即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…...

编程日记 2024/12/6 18:01:20

44.5.【C语言】辨析“数组指针”和“指针数组”

目录 1.数组指针 2.指针数组 执行结果 底层分析 1.数组指针 从语文的角度理解,"数组"修饰"指针".因此数组指针是指针 例如以下代码 #include <stdio.h> int main() {char a[5] { "ABCDE" };return 0;} 其中a就是数组指针,因为数…...

编程日记 2024/12/6 18:00:17

node.js基础学习-express框架-路由及中间件（十）

一、前言 Express 是一个简洁、灵活的 Node.js Web 应用框架。它基于 Node.js 的内置 HTTP 模块构建&#xff0c;提供了一系列用于构建 Web 应用程序和 API 的功能&#xff0c;使开发者能够更高效地处理 HTTP 请求和响应&#xff0c;专注于业务逻辑的实现。 其特点包括简单易用…...

编程日记 2024/12/6 17:55:12

使用MSYS搭建linux开发环境踩坑笔记

前言&#xff1a; 使用linux系统或虚拟机进行嵌入式linux开发是常规方法&#xff1b; 使用MSYS是用于尝鲜和研究。 由于windows和linux的差异&#xff0c;使用MSYS代替Linux虚拟机会遇到很多坑。 主要原因在于&#xff1a; 1. windows和linux文件系统的差异&#xff1a;win不…...

编程日记 2024/12/6 17:54:11

vue3+ts+vite+ElementPlus上传进度条实时更新(UPLoad和progress)。

需求&#xff1a; 上传文件时&#xff0c;展示进度条实时更新&#xff1a; 下面是代码片段: <!-- 添加媒体弹窗 -- 上传 --><el-dialog v-model"centerDialogVisible" title"媒体信息" width"700" :close-on-click-modal"false&qu…...

编程日记 2024/12/6 17:53:09

AspNet WebAPI 模型绑定问题

继承System.Web.Http.ApiController的Action的Model如果被[Serializable]定义&#xff0c;会导致Model的字段无法绑定。 Microsoft.AspNet.WebApi.Core.5.2.3\lib\net45\System.Web.Http.dll [Serializable] public class Model {public string id { get; set; } }public MyA…...

编程日记 2024/12/6 17:52:08

Android 图形系统之七：SurfaceFlinger

一. 引言 什么是 SurfaceFlinger&#xff1f;SurfaceFlinger 的核心作用和地位&#xff1f;为什么需要了解 SurfaceFlinger&#xff1f; 二. SurfaceFlinger 的基本概念 Surface 和 SurfaceFlinger 的关系SurfaceFlinger 与图形渲染&#xff08;OpenGL ES 和 Vulkan&#xf…...

编程日记 2024/12/6 17:51:05

14、鸿蒙学习——管理通知角标

针对未读的通知&#xff0c;系统提供了角标设置接口&#xff0c;将未读通知个数显示在桌面图标的右上角角标上。 通知增加时&#xff0c;角标上显示的未读通知个数需要增加。 通知被查看后&#xff0c;角标上显示的未读通知个数需要减少&#xff0c;没有未读通知时&#xff0…...

编程日记 2024/12/6 17:49:03

TongRDS分布式内存数据缓存中间件

命令 优势 支持高达10亿级的数据缓冲&#xff0c;内存优化管理&#xff0c;避免GC性能劣化。 高并发系统设计&#xff0c;可充分利用多CPU资源实现并行处理。 数据采用key-value多索引方式存储&#xff0c;字段类型和长度可配置。 支持多台服务并行运行&#xff0c;服务之间可互…...

编程日记 2024/12/6 17:48:01

[在线实验]-RabbitMQ镜像的下载与部署

镜像下载 docker的rabbitmq镜像资源-CSDN文库 加载镜像 docker load --input rabbitmq.tar 给镜像打标签 这里发现镜像名为none&#xff0c;需要给镜像重命名下 docker tag [镜像id] [新镜像名称]:[新镜像标签] docker tag ebaf409ffbe2 rabbitmq:management 运行镜像…...

编程日记 2024/12/6 17:45:59

Linux 系统文件描述符（File Descriptor）小白级介绍

1. 概述 Linux 遵循"一切皆文件"的理念。在 Linux 系统中&#xff0c;文件描述符是一个索引值&#xff08;非负整数&#xff09;&#xff0c;指向内核为每个进程所维护的该进程打开文件的记录表。 如上所述&#xff0c;每个进程都维护着一张文件描述符表。 文件描述…...

编程日记 2024/12/6 17:39:54

【Verilog】实验二 数据选择器的设计与vivado集成开发环境

目录 一、实验目的 二、实验环境 三、实验任务 四、实验原理 五、实验步骤 top.v mux2_1.v 一、实验目的 1. 掌握数据选择器的工作原理和逻辑功能。 2. 熟悉vivado集成开发环境。 3. 熟悉vivado中进行开发设计的流程。 二、实验环境 1. 装有vivado的计算机。 2. Sw…...

编程日记 2024/12/6 17:38:53

IDL学习笔记（三）OMI数据处理。hdf5文件读取，图像反转，GeoTiff区别，月季年均值计算提取输出，单位转换，运行时间计算

modis Level 2 grid 数据是全球格网化数据。一天的数据全在其中。 modis Level 1 和 2 数据是一景一景的影像。 IDL学习笔记&#xff08;三&#xff09;OMI数据处理 hdf5文件读取单位转换&#xff0c;输出hdf5数据集的图像&#xff0c;并检查图像经纬度是否正确&#xff0c;若错…...

编程日记 2024/12/6 17:36:51

深入浅出：PHP中的数据类型全解析

文章目录 引言理解数据类型标量类型整数 (integer)浮点数 (float)布尔值 (boolean)字符串 (string) 复合类型数组 (array)对象 (object)资源 (resource)NULL 特殊类型Callable强制类型转换 实战案例总结与展望参考资料 引言 在编程的世界里&#xff0c;数据类型是构建任何应用…...

编程日记 2024/12/6 17:34:48

要使用 OpenResty 创建一个接口，返回客户端的 IP 地址，并以 JSON 格式输出

要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出 要使用 OpenResty 创建一个接口&#xff0c;返回客户端的 IP 地址&#xff0c;并以 JSON 格式输出方案一解决方案&#xff08;openresty使用cjson&#xff09;说明&#xff1a;使…...

编程日记 2024/12/6 17:32:46

一次慢改表引发的线上死锁事故复盘

一次慢改表引发的线上死锁事故复盘 一、事故背景 在一次常规的数据库表结构变更过程中&#xff0c;对某核心业务表执行了慢改表操作&#xff08;使用 pt-online-schema-change&#xff09;。操作开始后&#xff0c;短时间内触发报警&#xff1a; 部分接口响应时间显著上升出现请…...

编程新知 2026/4/2 16:56:42

intv_ai_mk11实战手册：构建AI增强型Confluence知识库——自动打标签+关联推荐

intv_ai_mk11实战手册&#xff1a;构建AI增强型Confluence知识库——自动打标签关联推荐 1. 项目背景与价值 在现代企业知识管理中&#xff0c;Confluence作为广泛使用的知识库平台&#xff0c;面临着内容组织效率低下的挑战。传统手动分类和标签管理方式存在三个核心痛点&am…...

编程新知 2026/4/2 15:53:24

Fluent后处理效率翻倍：用View功能建立你的专属仿真报告视角库

Fluent后处理效率翻倍&#xff1a;用View功能建立你的专属仿真报告视角库 在仿真工程师的日常工作中&#xff0c;最耗时的往往不是计算本身&#xff0c;而是后处理阶段——反复调整视角、截图、标注、排版&#xff0c;只为生成一份清晰直观的报告。我曾参与过一个散热器优化项目…...

编程新知 2026/4/2 15:43:21

LeetCode每日练习题---49.字母异位词分组

49.字母异位词分组 条件 已知&#xff1a; 字符串数组 目标&#xff1a; 将字母异位词组合在一起 思想&#xff08;时间复杂度太高超时了&#xff09; 我的想法是&#xff0c;双重遍历的暴力方法 &#xff0c; 先对字符串数组中的元素进行遍历 &#xff0c;第一层遍历&#xff…...

编程新知 2026/4/2 15:33:13

鸿蒙游戏：从单设备到全场景

子玥酱 &#xff08;掘金 / 知乎 / CSDN / 简书 同名&#xff09; 大家好&#xff0c;我是 子玥酱&#xff0c;一名长期深耕在一线的前端程序媛 &#x1f469;‍&#x1f4bb;。曾就职于多家知名互联网大厂&#xff0c;目前在某国企负责前端软件研发相关工作&#xff0c;主要聚…...

编程新知 2026/4/2 15:10:43

利用快马平台十分钟搭建9·1免费版软件安装指南网站原型

今天想和大家分享一个快速搭建软件安装指南网站的小技巧。最近有个朋友需要为91免费版软件做个安装说明网站&#xff0c;传统开发方式至少要花几天时间&#xff0c;但用InsCode(快马)平台十分钟就搞定了原型&#xff0c;特别适合需要快速验证想法的情况。 明确网站结构 首先梳理…...

编程新知 2026/4/2 13:34:40

2026届最火的五大降AI率助手推荐

Ai论文网站排名&#xff08;开题报告、文献综述、降aigc率、降重综合对比&#xff09; TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 减低AIGC检测率要从多方面入手&#xff0c;首先&#xff0c;调整句式结构&#xff0c;避开过…...

编程新知 2026/4/2 13:16:27

VisualCppRedist AIO：解决Windows运行库管理难题的一站式方案

VisualCppRedist AIO&#xff1a;解决Windows运行库管理难题的一站式方案 【免费下载链接】vcredist AIO Repack for latest Microsoft Visual C Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist 一、直面运行库困境&#xff1a;三大场…...

编程新知 2026/4/2 13:12:26

别再只盯着mAP50了！手把手教你修改YOLOv8的best模型保存逻辑（附代码）

突破mAP50局限&#xff1a;YOLOv8模型保存策略深度定制指南 在目标检测领域&#xff0c;mAP50&#xff08;mean Average Precision at IoU0.5&#xff09;长期被作为模型性能的黄金标准。但当我们面对工业质检中微米级缺陷识别&#xff0c;或是自动驾驶场景中对行人检测的严苛要…...

编程新知 2026/4/2 12:01:26

CameraLink三种模式（Base/Medium/Full）信号传输差异对比与选型建议

CameraLink三种工作模式深度解析与工业选型实战指南 在工业视觉检测线上&#xff0c;一台高速运行的贴片机正以每分钟800次的速度捕捉元件位置。当工程师将相机从200万像素升级到800万像素时&#xff0c;原本稳定的图像突然出现随机噪点——这往往是CameraLink模式选择不当导致…...

编程新知 2026/4/2 10:42:15