当前位置: 首页 > news >正文

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

  • 环境搭建背景
  • 虚拟机创建和环境配置
  • 安装过程注意事项
    • 虚拟机设置
    • 软件选择
    • KOUMP
    • 系统分区
    • 网络和主机名
      • 打开以太网,并记录信息
      • 配置 IPv4
      • 修改主机名
    • 创建用户
  • hadoop完全分布式搭建-CSDN博客

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

在这里插入图片描述

软件选择

选择最小化安装

在这里插入图片描述

KOUMP

关闭 kdump(没什么用,节省时间)

在这里插入图片描述

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:

在这里插入图片描述
在这里插入图片描述

配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

在这里插入图片描述

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

在这里插入图片描述

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

在这里插入图片描述

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

相关文章:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录 环境搭建背景虚拟机创建和环境配置安装过程注意事项虚拟机设置软件选择KOUMP系统分区网络和主机名打开以太网,并记录信息配置 IPv4修改主机名 创建用户 hadoop完全分布式搭建-CSDN博客 环境搭建背景 为什么不从hadoop100或者hadoop101开始,而是…...

苍穹外卖面试题-中

8. 如何理解分组校验 很多情况下,我们会将校验规则写到实体类中的属性上,而这个实体类有可能作为不同功能方法的参数使用,而不同的功能对象参数对象中属性的要求是不一样的。比如我们在新增和修改一个用户对象时,都会接收User对象…...

Python 重要数据类型

目录 列表 序列操作 列表内置方法 列表推到式 字典 声明字典 字典基本操作 列表内置方法 字典进阶使用 字典生成式 附录 列表 在实际开发中,经常需要将一组(不只一个)数据存储起来,以便后边的代码使用。列表就是这样的…...

03、pytest初体验

官方实例 # content of test_sample.py def func(x):return x 1def test_ansewer():assert func(3) 5步骤解释 [100%]指的是所有测试用例的总体进度,完成后,pytest显示一个失败报告,因为func(3)没有返回5 注意:你可以使用ass…...

智能指针及强相关知识经验总结 --- 移动语义、引用计数、循环引用、move()、自定义删除器等

目录 前言 一、shared_ptr 1. 基本用法和构造方法 2. 引用计数机制 3. weak_ptr 解决循环引用 二、unique_ptr 1. 基本用法和构造方法 2. 独占性 3. 所有权转移 1)unique_ptr :: release() 2)移动语义 和 move() 三、 对比 shared_ptr 和 un…...

Gson 自动生成适配器插件

在json解析方面 我们常见有下面几方面困扰 1. moshi code-gen能自动生成适配器,序列化效率比gson快,但是自定义程度不如gson,能java kotlin共存 且解决了默认值的问题 2.gson api 强大自由,但是 第一次gson的反射缓存比较慢,而且生成对象都是反射,除非主动注册com.google.gson…...

React创建项目

React创建项目 提前安装好nodejs再进行下面的操作,通过node -v验证是否安装 1.设置源地址 npm config set registry https://registry.npmmirror.com/2.确认源地址 npm config get registry返回如下 https://registry.npmmirror.com/3.输入命令 npx create-re…...

Redis5新特性-stream

Stream队列 Redis5.0 最大的新特性就是多出了一个数据结构 Stream,它是一个新的强大的 支持多播的可持久化的消息队列,作者声明 Redis Stream 地借鉴了 Kafka 的设计。 生产者 xadd 追加消息 xdel 删除消息,这里的删除仅仅是设置了标志位&am…...

删除PPT文件的备注内容

解决方案的工作经常汇报以及经常做ppt的回报工作,但是删除备注很痛苦。 在网上或者拿历史的ppt文件修改后,需要删除ppt备注内容以及删除ppt个人文件信息的办法: 现象:很多备注信息,需要删除 解决办法一、 文件--信息-…...

2023年亚太杯APMCM数学建模大赛B题玻璃温室小气候调控

2023年亚太杯APMCM数学建模大赛 B题 玻璃温室小气候调控 原题再现 温室作物的产量受各种气候因素的影响,包括温度、湿度和风速[1]。其中,适宜的温度和风速对植物生长至关重要[2]。为了调节玻璃温室内的温度、风速等气候因素,在温室设计中常…...

Oracle 查询语句限制只选择最前面几行,和最后面几行的实现方式。

查询最前面几行 在Oracle中&#xff0c;可以使用 ROWNUM 关键字来限制查询结果的行数。要选择前10条记录&#xff0c;可以使用以下查询语句&#xff1a; SELECT * FROM your_table WHERE ROWNUM < 10;实际查询时将your_table替换为要查询的表名。以上查询将返回表中的前10…...

.NET Core6.0 MVC+layui+SqlSugar 简单增删改查

HTML部分: {ViewData["Title"] "用户列表"; } <!DOCTYPE html> <html> <head><meta charset"utf-8"><title>用户列表</title><meta name"renderer" content"webkit"><meta …...

在 Mac 上使用浅色或深色外观

在 Mac 上&#xff0c;选取苹果菜单 >“系统设置”&#xff0c;然后点按边栏中的“外观” 。&#xff08;你可能需要向下滚动。&#xff09;选择右侧的“浅色”、“深色”或“自动”。 “浅色”表示不会发生变化的浅色外观。 “深色”表示不会发生变化的深色外观。“深色模式…...

华为手环关闭智能适时测量

问题 使用华为手环并使用华为创新研究APP后&#xff0c;会自动打开智能适时测量开关&#xff0c;此开关开启后&#xff0c;手环会在睡眠时间自动测量血氧&#xff0c;增加手环功耗从而影响续航&#xff0c;用户可根据自身需求决定是否开启&#xff0c;下文介绍如何找到此开关。…...

1-Hadoop原理与技术

单选题 题目1&#xff1a;安装Hadoop集群时&#xff0c;是在哪个文件指定哪些机器作为集群的从机&#xff1f; 选项: A datanode B slaves C yarn-site.xml D core-site.xml 答案&#xff1a;B ------------------------------ 题目2&#xff1a;Hadoop配置文件所在目录是哪…...

YoloV5改进策略:Swift Parameter-free Attention,无参注意力机制,超分模型的完美迁移

摘要 https://arxiv.org/pdf/2311.12770.pdf https://github.com/hongyuanyu/SPAN SPAN是一种超分网络模型。SPAN模型通过使用参数自由的注意力机制来提高SISR的性能。这种注意力机制能够增强重要信息并减少冗余,从而在图像超分辨率过程中提高图像质量。 具体来说,SPAN模…...

DAPP开发【04】测试驱动开发

测试驱动开发(Test Driven Development)&#xff0c;是一种不同于传统软件开发流程的新型的开发方法。它要求在编写某个功能的代码之前先编写测试代码&#xff0c;然后只编写使测试通过的功能代码通过测试来推动整个开发的进行。这有助于编写简洁可用和高质量的代码&#xff0c…...

Raspberry Pi 2, 2 of n - Pi 作为 IoT 消息代理

目录 介绍 环境 先决条件 - 设置静态 IP 地址 安装 Mosquitto 启动/停止 Mosquitto 配置先决条件 - 安装 mqtt_spy 配置 Mosquitto 配置 Mosquitto - 无安全性 测试 Mosquitto 配置 - 无安全性 配置 Mosquitto - 使用密码身份验证 Mosquitto 测试 - 带密码验证 概括 介绍 在本文…...

linux服务器环境搭建(使用yum 安装mysql、jdk、redis)

一:yum的安装 1:下载yum安装包并解压 wget http://yum.baseurl.org/download/3.2/yum-3.2.28.tar.gz tar xvf yum-3.2.28.tar.gz 2.进入yum-3.2.28文件夹中进行安装,执行安装指令 cd yum-3.2.28 sudo apt install yum 3.更新版本 yum check-update yum update yum cle…...

互联网Java工程师面试题·Spring Boot篇·第二弹

目录 8、什么是 YAML&#xff1f; 9、如何实现 Spring Boot 应用程序的安全性&#xff1f; 10、如何集成 Spring Boot 和 ActiveMQ&#xff1f; 11、如何使用 Spring Boot 实现分页和排序&#xff1f; 12、什么是 Swagger&#xff1f;你用 Spring Boot 实现了它吗&#xff1f; …...

Linux内核进程创建与调度机制详解

Linux内核进程创建机制深度解析&#xff1a;从fork到进程调度1. 进程创建概述在Linux操作系统中&#xff0c;进程创建是通过fork系统调用实现的。fork系统调用会创建一个与父进程几乎完全相同的子进程&#xff0c;包括代码段、数据段、堆栈等内存空间的复制。本文将深入分析Lin…...

告别手动编译:用Conda在Ubuntu 20.04上一键安装与管理SUMO交通仿真环境

告别手动编译&#xff1a;用Conda在Ubuntu 20.04上一键安装与管理SUMO交通仿真环境 在交通工程和智能驾驶研究领域&#xff0c;SUMO&#xff08;Simulation of Urban MObility&#xff09;作为开源的微观交通仿真工具&#xff0c;正被越来越多的研究者和开发者采用。然而&#…...

springboot基于协同过滤推荐算法的图书借阅推荐系统

目录需求分析与系统设计数据准备与处理协同过滤算法实现推荐系统集成系统测试与优化部署与监控项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作需求分析与系统设计 明确系统的核心功能需求&#xff0c;包括用户管理、图书管理、…...

HertzBeat与Prometheus兼容性详解:平滑迁移和生态整合终极指南

HertzBeat与Prometheus兼容性详解&#xff1a;平滑迁移和生态整合终极指南 Apache HertzBeat是一款功能强大的开源实时监控系统&#xff0c;与Prometheus生态系统完美兼容&#xff0c;提供无代理、高性能集群和自定义监控功能。&#x1f680; 作为新一代监控工具&#xff0c;H…...

Angular Flex-Layout终极指南:掌握fxLayout、fxFlex、fxLayoutAlign核心指令

Angular Flex-Layout终极指南&#xff1a;掌握fxLayout、fxFlex、fxLayoutAlign核心指令 【免费下载链接】flex-layout Provides HTML UI layout for Angular applications; using Flexbox and a Responsive API 项目地址: https://gitcode.com/gh_mirrors/fl/flex-layout …...

HunyuanVideo-Foley音效生成:支持SMPTE时间码对齐视频关键帧

HunyuanVideo-Foley音效生成&#xff1a;支持SMPTE时间码对齐视频关键帧 1. 产品概述 HunyuanVideo-Foley是一款专为影视后期制作设计的AI音效生成工具&#xff0c;其核心创新在于支持SMPTE时间码精确对齐视频关键帧。这意味着音效师可以基于视频时间轴上的特定帧&#xff0c…...

告别Transformer!用PyTorch从零实现MLP-Mixer图像分类(附完整代码与调参技巧)

告别Transformer&#xff01;用PyTorch从零实现MLP-Mixer图像分类&#xff08;附完整代码与调参技巧&#xff09; 在计算机视觉领域&#xff0c;Transformer架构近年来风头无两&#xff0c;但你是否想过——仅用多层感知机&#xff08;MLP&#xff09;也能构建高性能视觉模型&a…...

ROS2接口实战:从传感器数据到自定义消息的完整开发流程(附Python示例)

ROS2接口实战&#xff1a;从传感器数据到自定义消息的完整开发流程&#xff08;附Python示例&#xff09; 在机器人开发领域&#xff0c;数据的高效传递与标准化处理是系统稳定运行的关键。ROS2作为新一代机器人操作系统&#xff0c;其接口系统提供了强大的数据交换能力&#x…...

每日一道面试题 06|Spring Bean 的生命周期(高频必问)

面试题请完整说一下 Spring Bean 从加载到销毁的整个生命周期&#xff1f;有哪些关键扩展点&#xff1f;一、一句话概括生命周期Bean 从被 Spring 容器实例化 → 属性填充 → 初始化 → 正常使用 → 容器关闭时销毁的完整过程。二、标准生命周期流程&#xff08;按顺序背&#…...

自学C#的第三天

今天自学了c#&#xff0c;并看了相关的unity课程视频&#xff0c;加油&#xff0c;争取找到一份好的实习&#xff0c;简历投递效果不是很成功&#xff0c;打算给我的qt项目重新完善一下...