当前位置： 首页 > news >正文

CentOS7搭建伪分布式Hadoop（全过程2023）

news 2026/4/10 23:41:41

##具体操作目录##

  • 1.配置静态ip
  • 2.关闭防火墙
  • 3.修改主机名为 *master* ，并重启虚拟机
    • vi /etc/hostname
  • 4.修改主机名与ip映射
  • 5.设置SSH免密登录
  • 6.安装配置java环境
  • ----------------------正式Hadoop配置
  • 1.移动安装包到合适位置
  • 2.解压安装包并重命名
  • 3.配置环境变量
  • 4.修改hadoop的核心配置文件：
  • 出现的问题：

1.配置静态ip

2.关闭防火墙

在这里插入图片描述
在这里插入图片描述

3.修改主机名为 master ，并重启虚拟机

vi /etc/hostname

在这里插入图片描述

4.修改主机名与ip映射

在这里插入图片描述

5.设置SSH免密登录

在这里插入图片描述
在这里插入图片描述

6.安装配置java环境

可以使用XFTP，用物理主机链接虚拟机的centos传送java文件，或者直接去java官网下载文件，解压。配置文件，启动配置。
验证java是否配置好
输入：

java
javac
java -version

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

----------------------正式Hadoop配置

1.移动安装包到合适位置

在这里插入图片描述

2.解压安装包并重命名

在这里插入图片描述
在这里插入图片描述

3.配置环境变量

在这里插入图片描述
在这里插入图片描述

4.修改hadoop的核心配置文件：

hadoop-env.sh
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

出现的问题：

1.在这里插入图片描述
在/etc目录下修改sudoers文件，赋予权限。
2.为什么有步骤4
3.
下载hbase.bin.tar.gz（这里下的是2.2.2，因为我的hadoop是3.1.3版本的）
下载地址：https://archive.apache.org/dist/hbase/2.2.2/
4.为什么从8020变成了9000

相关文章：

CentOS7搭建伪分布式Hadoop（全过程2023）

##具体操作目录## 1.配置静态ip2.关闭防火墙3.修改主机名为 *master* ，并重启虚拟机vi /etc/hostname 4.修改主机名与ip映射5.设置SSH免密登录6.安装配置java环境----------------------正式Hadoop配置1.移动安装包到合适位置2.解压安装包并重命名3.配置环境变量4.修…...

编程日记 2023/5/21 23:30:47

Linux中文件描述符fd和文件指针filp的理解

简单归纳：fd只是一个整数，在open时产生。起到一个索引的作用，进程通过PCB中的文件描述符表找到该fd所指向的文件指针filp。 文件描述符的操作(如: open)返回的是一个文件描述符,内核会在每个进程空间中维护一个文件描述符表, 所有打开的文件…...

编程日记 2023/5/30 14:46:06

CSS color中常用英文色值

常用颜色英文 red green blue magenta yellow chocolate black aquamarine lime fuchsia brass azure brown bronze deeppink aliceblue gray copper coral feldspar orange orchid pink plum quartz purple aliceblue antiquewith blanchedalmond…...

编程日记 2023/5/21 23:20:44

Springboot idea 中 maven配置问题，找不到依赖：Could not find artifact xxxx

现象：当我们从代码仓拉取新项目时，从该项目的开发同事拿到其maven的settings文件，作为项目的maven配置，为了是能找到工程中所依赖的包，能从远程仓下载下来。 然后本地仓的包，也从同事那边拷贝一份过来&…...

编程日记 2023/5/31 6:11:25

编译原理笔记（一）引论

文章目录 1.什么是编译程序2.编译过程和编译程序的结构2.1.编译过程概述2.2.编译程序的结构2.3.编译阶段的组合 3.解释程序和一些软件工具3.1.解释程序3.2.处理源程序的软件工具 4.PL/0语言编译系统 学习总结：这一部分是编译原理的绪论部分内容，对编译程…...

编程日记 2023/5/21 23:10:42

C++ 类和对象下 [补充]

文章目录 友元内部类内部类是外部类的天生友元 匿名对象匿名对象的特性 拷贝对象时的一些编译器优化函数返回值临时空间的存储位置返回值临时空间具有常性 标题相同和不同类型 需要 临时空间 友元 友元函数 重载operator<< 输出自定义类型 比如日期类的这个重载&#xff…...

编程日记 2023/5/31 23:28:07

[CTF/网络安全] 攻防世界 PHP2 解题详析

[CTF/网络安全] 攻防世界 PHP2 解题详析 index.php.phps扩展名姿势 翻译&#xff1a;你能给这个网站进行身份验证吗&#xff1f; index.php index.php是一个常见的文件名&#xff0c;通常用于Web服务器中的网站根目录下。它是默认的主页文件名&#xff0c;在访问一个网站时&am…...

编程日记 2023/5/21 23:00:40

图神经网络：(节点分类)在Cora数据集上动手实现图神经网络

文章说明&#xff1a; 1)参考资料&#xff1a;PYG官方文档。超链。 2)博主水平不高&#xff0c;如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook。超链。提取码8888。 文章目录 代码实操1&#xff1a;GCN的复杂实现代码实操2&#xff1a;GCN的简单实现…...

编程日记 2023/5/30 14:47:34

RabbitMQ应用问题——消息补偿机制以及代码示例

RabbitMQ应用问题——消息补偿机制以及代码示例 RabbitMQ应用问题 消息可靠性的保障 消息补偿机制 详细说明 这里使用了简单的代码进行演示&#xff0c;订单的消费者没有写&#xff0c;在订单的消费同时&#xff0c;发送一条增加积分消息到积分队列。 详细流程途中都有注明…...

编程日记 2023/5/31 6:59:12

量化特征贡献度函数:feature_importances_函数/LGBMClassifier/XGBClassifier

feature_importances_是scikit-learn机器学习库中许多模型对象的属性&#xff0c;在训练模型之后调用该属性可以输出各个特征在模型中的重要性。 示例代码&#xff1a; from sklearn.ensemble import RandomForestRegressor from sklearn.datasets import make_regression# 生…...

编程日记 2023/5/21 22:45:35

总结JVM重要知识点

一.类加载和创建对象的过程 1.类加载 1.编译 : 将源码文件(.java)编译成JVM可以解释的.class文件 . 语法分析>语义分析>注解处理 , 生成class文件 2.加载 : 装载 : 字节码本来存储在硬盘上 , 需要运行时 , 有类加载系统负责将类的信息加载到内存中(方法区) , 使用的是类…...

编程日记 2023/5/29 15:58:10

奇技淫巧第8期

学无止境。 下面是对去年11月至今年5月的零散知识点总结。 春节期间好好放松了一两个月&#xff0c;来校后又懒散的度过了一两个月&#xff0c;直到论文评审意见下来&#xff0c;才开启冲刺模式狂干了一两个月。总的来说&#xff0c;这半年来摸的时间比较多。好&#xff0c;不废…...

编程日记 2023/5/21 22:35:31

这个 归并排序详解过程 我能吹一辈子！！！

文章目录 归并排序概念归并排序算法思路归并排序递归实现归并排序非递归实现 归并排序概念 1945年&#xff0c;约翰冯诺依曼&#xff08;John von Neumann&#xff09;发明了归并排序&#xff0c;这是典型的分治算法的应用。 归并排序&#xff08;Merge sort&#xff09;是建立…...

编程日记 2023/5/21 22:30:29

docker版jxTMS使用指南：自动生成代码

本文讲解4.0版jxTMS的自动生成代码功能&#xff0c; 整个系列的文章请查看&#xff1a;docker版jxTMS使用指南&#xff1a;4.0版升级内容 docker版本的使用&#xff0c;请参考&#xff1a;docker版jxTMS使用指南 任何一个管理系统都需要对管理对象进行管理&#xff0c;包括最…...

编程日记 2023/5/31 15:39:05

聚观早报 | 小冰启动GPT克隆人计划；ofo创始人在美创业改做咖啡

今日要闻&#xff1a;小冰启动“GPT克隆人计划”&#xff1b;ofo创始人在美创业改做咖啡&#xff1b;OpenAI正准备新的开源AI模型&#xff1b;青年失业率首破20&#xff05;创新高&#xff1b;微软收购动视暴雪获批 小冰启动“GPT克隆人计划” 5 月 16 日&#xff0c;小冰公司…...

编程日记 2023/5/30 19:36:30

面试造航母，入职拧螺丝，工资离了个大谱...

有粉丝跟我吐槽说&#xff1a;金三银四去面试软件测试岗&#xff0c;真的是面试造航母&#xff0c;入职拧螺丝&#xff0c;工资还低 这种现象很正常&#xff0c;因为找一个测试员&#xff0c;当然希望他能做的业务越多越好&#xff0c;最好像机器猫一样&#xff0c;啥事儿都能…...

编程日记 2023/6/1 7:20:33

Python+selenium自动化元素定位防踩坑

在自动化UI测试过程中常常会在元素定位阶段就踩坑&#xff0c;碰到困扰已久的问题。 以下是个人整理元素定位报错原因和解决方法。 踩坑一&#xff1a;StaleElementReferenceException selenium.common.exceptions.StaleElementReferenceException: Message: stale element re…...

编程日记 2023/5/31 23:29:56

【计算机组成原理】实验一

文章目录 实验一 数据传送实验1. 实验目的2. 实验仪器3. 原理概述4. 实验内容步骤4.1 手动实验环境的建立4.2 手控传送实验 5. 实验结论及问题讨论 实验一 数据传送实验 1. 实验目的 2. 实验仪器 3. 原理概述 4. 实验内容步骤 4.1 手动实验环境的建立 1)初始待令状态 上电或…...

编程日记 2023/5/21 22:05:21

前端022_广告模块_修改功能

广告模块_修改功能 1、需求分析2、Mock添加查询数据3、Mock修改数据4、Api调用回显数据5、提交修改后的数据6、效果1、需求分析 需求分析 当点击 编辑 按钮后，弹出编辑窗口，并查询出分类相关信息进行渲染。修改后点击 确定 提交修改后的数据。 2、Mock添加查询数据 请求URL…...

编程日记 2023/5/21 22:00:20

makefile 学习(3):C++的编译及库文件的生成与链接

1. 介绍 C语言的相关后缀 .a 文件是一个静态库文件.c,.c ,.cp,.cpp,.cc,.cxx 这几种后缀都可以表示c的源文件.h ,.hpp c语言的头文件.i 是c预处理文件.o 目标文件.s汇编语言的文件.so 动态库或者共享库或者称为运行时库 2. C编译 2.1 预处理 g -E helloworld.cpp # 虽…...

编程日记 2023/5/21 21:55:19

Python数据可视化指南

Python数据可视化指南 后端转 Rust 的萌新&#xff0c;ID "第一程序员"——名字大&#xff0c;人很菜&#xff08;暂时&#xff09;。正在跟所有权和生命周期死磕&#xff0c;日常记录 Rust 学习路上的踩坑经验和"啊哈时刻"&#xff0c;代码片段保证能跑。…...

编程新知 2026/4/10 23:38:16

【算法日记 11】贪心之美：用“相邻交换法”秒杀乱序求极值问题

&#x1f680;【算法日记 11】贪心之美&#xff1a;用“相邻交换法”秒杀乱序求极值问题 &#x1f4cd; 场景引入&#xff1a;百醇的终极摆放艺术 今天遇到了一道看似毫无头绪的排列极值题&#xff1a;题目大意&#xff1a;有 NNN 根百醇&#xff0c;每根有长度 AiA_iAi​ 和美…...

编程新知 2026/4/10 21:01:43

解决标准工程库中遇到少了STM32F1 固件包

keil中编译后出现下面错误&#xff1a; ../Core/Inc/stm32f1xx_hal_conf.h(338): error: #5: cannot open source input file "stm32f1xx_hal_uart.h": No such file or directory 整个项目都找不到 stm32f1xx_hal_uart.h 这个文件。 要么 UART 的 HAL 驱动文件没有…...

编程新知 2026/4/10 21:01:43

ECAPA-TDNN说话人识别终极指南：从零开始构建高性能语音验证系统

ECAPA-TDNN说话人识别终极指南&#xff1a;从零开始构建高性能语音验证系统 【免费下载链接】ECAPA-TDNN Unofficial reimplementation of ECAPA-TDNN for speaker recognition (EER0.86 for Vox1_O when train only in Vox2) 项目地址: https://gitcode.com/gh_mirrors/ec/E…...

编程新知 2026/4/10 20:41:09

如何在5分钟内为视频自动生成专业字幕：VideoSrt开源工具深度指南

如何在5分钟内为视频自动生成专业字幕&#xff1a;VideoSrt开源工具深度指南 【免费下载链接】video-srt-windows 这是一个可以识别视频语音自动生成字幕SRT文件的开源 Windows-GUI 软件工具。 项目地址: https://gitcode.com/gh_mirrors/vi/video-srt-windows 还在为视…...

编程新知 2026/4/10 20:15:02

突破付费墙限制：从技术原理到个性化解决方案的完整指南

突破付费墙限制&#xff1a;从技术原理到个性化解决方案的完整指南 当你在研究某个专业领域的前沿动态时&#xff0c;是否曾因遇到"订阅后阅读全文"的提示而被迫中断探索&#xff1f;在信息获取成本日益增加的今天&#xff0c;如何合法合规地突破内容访问限制&#x…...

编程新知 2026/4/10 19:41:09

玻璃K值如何测试？

玻璃K值如何测试？ 玻璃K值测试方法有测试+计算法、防护热板法/热流计法、标定热箱法、现场测试方法等，标准有JGJ/T 151、GB/T 2680、GB/T 22476、GB/T 10294、GB/T 8484、GB/T 36261等；经常有朋友咨询该用哪种方法、哪个标准？本期做个梳理，不妥之处敬请指正！ 1、测试+计…...

编程新知 2026/4/10 18:42:26

nvitop深度解析：超越nvidia-smi的GPU监控革命方案

nvitop深度解析&#xff1a;超越nvidia-smi的GPU监控革命方案 【免费下载链接】nvitop An interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process management. 项目地址: https://gitcode.com/gh_mirrors/nv/nvitop 在深度学习、科…...

编程新知 2026/4/10 18:05:35

5分钟掌握Hanime1Plugin：构建纯净Android动画观影体验的技术方案

5分钟掌握Hanime1Plugin&#xff1a;构建纯净Android动画观影体验的技术方案 【免费下载链接】Hanime1Plugin Android插件(https://hanime1.me) (NSFW) 项目地址: https://gitcode.com/gh_mirrors/ha/Hanime1Plugin Hanime1Plugin是一款专为Android平台设计的动画观影插…...

编程新知 2026/4/10 13:46:46

EmojiOne彩色表情字体：为你的项目注入生动表情的终极指南

EmojiOne彩色表情字体&#xff1a;为你的项目注入生动表情的终极指南 【免费下载链接】emojione-color OpenType-SVG font of EmojiOne 2.3 项目地址: https://gitcode.com/gh_mirrors/em/emojione-color EmojiOne彩色表情字体是一款基于OpenType-SVG格式的开源彩色字体…...

编程新知 2026/4/10 13:44:40