ContOS7单机安装Hadoop
安装Hadoop
1,准备环节
因为Hadoop是由java编写的,所以需要Java的环境支持,作为开发者我们需要安装jdk。
安装jdk的教程http://t.csdn.cn/6qJKg
下载Hadoop的安装包
Hadoop官网:http://hadoop.apache.org/
Hadoop版本下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz
修改etc/hosts文件
[root@hadoop ~]vi /etc/hosts
192.168.184.130 hadoop
2,安装环节
创建文件夹
[root@My-Server ~]# cd /usr/local
[root@My-Server local]# mkdir hadoop
存放安装包
安装包:hadoop-3.3.1.tar.gz放置在/usr/local/hadoop文件夹中
[root@My-Server local]# cd /hadoop
[root@My-Server hadoop]# ll
总用量 591004
-rw-r--r--. 1 root root 605187279 5月 16 11:11 hadoop-3.3.1.tar.gz
解压
[root@My-Server hadoop]# tar -zxvf hadoop-3.3.1.tar.gz
更改环境变量
[root@My-Server ~]# vi /etc/profile
# 最后添加一下代码
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

更新环境变量
[root@My-Server ~]# source /etc/profile
验证安装
[root@My-Server ~]# hadoop version
# 有以下信息说明安装成功
Hadoop 3.3.1
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /usr/local/hadoop/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar
修改配置文件
[root@My-Server ~]# cd /usr/local/hadoop/hadoop-3.3.1/etc/hadoop/
[root@My-Server hadoop]# ll
总用量 176
-rw-r--r--. 1 1000 mysql 9213 6月 15 2021 capacity-scheduler.xml
-rw-r--r--. 1 1000 mysql 1335 6月 15 2021 configuration.xsl
-rw-r--r--. 1 1000 mysql 2567 6月 15 2021 container-executor.cfg
-rw-r--r--. 1 1000 mysql 774 6月 15 2021 core-site.xml
-rw-r--r--. 1 1000 mysql 3999 6月 15 2021 hadoop-env.cmd
-rw-r--r--. 1 1000 mysql 16654 6月 15 2021 hadoop-env.sh
-rw-r--r--. 1 1000 mysql 3321 6月 15 2021 hadoop-metrics2.properties
-rw-r--r--. 1 1000 mysql 11765 6月 15 2021 hadoop-policy.xml
-rw-r--r--. 1 1000 mysql 3414 6月 15 2021 hadoop-user-functions.sh.example
-rw-r--r--. 1 1000 mysql 683 6月 15 2021 hdfs-rbf-site.xml
-rw-r--r--. 1 1000 mysql 775 6月 15 2021 hdfs-site.xml
-rw-r--r--. 1 1000 mysql 1484 6月 15 2021 httpfs-env.sh
-rw-r--r--. 1 1000 mysql 1657 6月 15 2021 httpfs-log4j.properties
-rw-r--r--. 1 1000 mysql 620 6月 15 2021 httpfs-site.xml
-rw-r--r--. 1 1000 mysql 3518 6月 15 2021 kms-acls.xml
-rw-r--r--. 1 1000 mysql 1351 6月 15 2021 kms-env.sh
-rw-r--r--. 1 1000 mysql 1860 6月 15 2021 kms-log4j.properties
-rw-r--r--. 1 1000 mysql 682 6月 15 2021 kms-site.xml
-rw-r--r--. 1 1000 mysql 13700 6月 15 2021 log4j.properties
-rw-r--r--. 1 1000 mysql 951 6月 15 2021 mapred-env.cmd
-rw-r--r--. 1 1000 mysql 1764 6月 15 2021 mapred-env.sh
-rw-r--r--. 1 1000 mysql 4113 6月 15 2021 mapred-queues.xml.template
-rw-r--r--. 1 1000 mysql 758 6月 15 2021 mapred-site.xml
drwxr-xr-x. 2 1000 mysql 24 6月 15 2021 shellprofile.d
-rw-r--r--. 1 1000 mysql 2316 6月 15 2021 ssl-client.xml.example
-rw-r--r--. 1 1000 mysql 2697 6月 15 2021 ssl-server.xml.example
-rw-r--r--. 1 1000 mysql 2681 6月 15 2021 user_ec_policies.xml.template
-rw-r--r--. 1 1000 mysql 10 6月 15 2021 workers
-rw-r--r--. 1 1000 mysql 2250 6月 15 2021 yarn-env.cmd
-rw-r--r--. 1 1000 mysql 6329 6月 15 2021 yarn-env.sh
-rw-r--r--. 1 1000 mysql 2591 6月 15 2021 yarnservice-log4j.properties
-rw-r--r--. 1 1000 mysql 690 6月 15 2021 yarn-site.xml
修改hadoop-env.sh文件
[root@My-Server hadoop]# vi hadoop-env.sh
添加jdk的地址
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AFHKOxIN-1684303844816)(E:\Java笔记\大数据\Hadoop\安装Hadoop\Hadoop.assets\image-20230516144044957.png)]](https://img-blog.csdnimg.cn/e69b5ced037943f5bfb2a78d289c7ac0.png)
修改core-site.xml文件
# 查看本机名称
[root@My-Server hadoop]# hostname
My-Server
[root@My-Server hadoop]# vi core-site.xml
添加如下代码
<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.3.1/tmp</value></property>
</configuration>

修改hdfs-site.xml文件
[root@My-Server hadoop]# vi hdfs-site.xml
添加如下代码:
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.http.address</name><value>192.168.184.130:50070</value></property></configuration>
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zTWkKmCI-1684303844817)(E:\Java笔记\大数据\Hadoop\安装Hadoop\Hadoop.assets\image-20230516143147353.png)]](https://img-blog.csdnimg.cn/7c7eb1ca9b7340bbaac5d0ed8492673e.png)
初始化文件系统
初始化节点名称
[root@My-Server hadoop]# hdfs namenode -format
出现下以下情况说明成功
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OfliHW7C-1684303844817)(E:\Java笔记\大数据\Hadoop\安装Hadoop\Hadoop.assets\image-20230517140144353.png)]](https://img-blog.csdnimg.cn/cf19e564d9364abf8297d1581d36c023.png)
# 开启HDFS相关服务
[root@hadoop hadoop]# start-dfs.sh
Starting namenodes on [hadoop]
上一次登录:三 5月 17 09:36:53 CST 2023pts/0 上
Starting datanodes
上一次登录:三 5月 17 09:45:39 CST 2023pts/0 上
Starting secondary namenodes [hadoop]
上一次登录:三 5月 17 09:45:42 CST 2023pts/0 上
[root@hadoop hadoop]# jps
2514 SecondaryNameNode
2186 NameNode
2314 DataNode
2651 Jps
安装时我所有到的问题
解决hadoop: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
# 1,生成公钥和私钥
[root@hadoop hadoop]# ssh-keygen -t rsa
# 2,将公钥添加到authorized_keys文件中
[root@hadoop hadoop]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 3,修改authorized_keys文件的权限
[root@hadoop hadoop]# chmod 600 ~/.ssh/authorized_keys
# 4,将私钥添加到ssh-agent中
[root@hadoop hadoop]# eval "$(ssh-agent -s)"
[root@hadoop hadoop]# ssh-add ~/.ssh/id_rsa
# 5. 验证是否成功
[root@hadoop hadoop]# ssh -T git@github.com
解决Permission denied (publickey)
[root@hadoop hadoop]# vim /etc/ssh/sshd_config[root@hadoop hadoop]# PasswordAuthentication yes
# 5. 验证是否成功
[root@hadoop hadoop]# ssh -T git@github.com
放行端口
# 放行端口号
[root@hadoop hadoop]# firewall-cmd --zone=public --add-port=50070/tcp --permanent
success
# 刷新
[root@hadoop hadoop]# firewall-cmd --reload
success
# 查看端口
[root@hadoop hadoop]# firewall-cmd --list-ports
3306/tcp 50070/tcp
windows访问hadoop:http://IP地址:50070
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wFLSlGBH-1684303844818)(E:\Java笔记\大数据\Hadoop\安装Hadoop\Hadoop.assets\image-20230517103002334.png)]](https://img-blog.csdnimg.cn/40f17ddf511640608687df872fee361c.png)
相关文章:
ContOS7单机安装Hadoop
安装Hadoop 1,准备环节 因为Hadoop是由java编写的,所以需要Java的环境支持,作为开发者我们需要安装jdk。 安装jdk的教程http://t.csdn.cn/6qJKg 下载Hadoop的安装包 Hadoop官网:http://hadoop.apache.org/ Hadoop版本下载地…...
抓取动态网页的数据的具体操作方法
抓取动态网页的数据的具体操作方法 动态网页是指在用户交互过程中,网页内容不断更新和变化的网页。抓取动态网页的数据需要了解以下具体操作方法: 使用浏览器开发者工具:在浏览器中打开目标网页后,按下F12键,打开开发…...
Windows 和 Linux 环境下 ProtoBuf 的安装
文章目录 一、ProtoBuf 在 Windows 环境中的安装二、ProtoBuf 在 Linux 环境中的安装 ProtoBuf在GitHub上的下载地址 一、ProtoBuf 在 Windows 环境中的安装 首先选择自己要下载的版本,我选择的是v21.11: 点进去在最下面选择Windows的版本࿰…...
商用密码应用安全性测评方案编制流程
密评方案编制的目标是完成测评准备活动中获取的信息系统相关资料整理,为现场测评活动提供最基本的文档和指导方案。 按照《GM-T 0116-2021 信息系统密码应用测评过程指南》标准,密评方案编制包括5项关键任务,简要汇总如下表。 编号任务输入文…...
Elasticsearch 集群部署插件管理及副本分片概念介绍
Elasticsearch 集群配置版本均为8以上 安装前准备 CPU 2C 内存4G或更多 操作系统: Ubuntu20.04,Ubuntu18.04,Rocky8.X,Centos 7.X 操作系统盘50G 主机名设置规则为nodeX.qingtong.org 生产环境建议准备单独的数据磁盘主机名 #各自服务器配置自己的主机名 hostnamectl set-ho…...
Liunx 套接字编程(2)TCP接口通信程序
1.TCP通信程序的编写 面向连接、可靠传输、提供字节流传输服务 客户端向服务器发送一个连接建立的请求流程,上图中服务端第三步详细流程 2.TCP接口 socket--创建套接字 int socket(int domain, int type, int protocol); bind---绑定 intbind(int sockfd, struct s…...
8年开发经验,浅谈 API 管理
随着信息化飞速增长的还有各信息系统中的应用接口(API),API作为信息系统内部及不同信息系统之间进行数据传输的渠道,其数量随着软件系统的不断庞大而呈指数型增长,如何管理这些API已经在业界变得越来越重要,…...
【软考备战·四月模考】希赛网四月模考软件设计师上午题
文章目录 一、成绩报告二、错题总结第一题第二题第三题第四题第五题第六题第七题第八题第九题第十题第十一题第十二题第十三题第十四题第十五题第十六题第十七题第十八题第十九题第二十题第二十一题第二十二题 三、知识查缺 题目及解析来源:2023上半年软考-模考大赛…...
MySQL中的@i:=@i+1用法详解
在MySQL中,i:i1是一个非常有用的表达式,用于在查询中生成一个递增的序列号。它可以帮助我们对结果进行编号,或者在需要连续的数字序列时提供便利。 我们先来了解一下MySQL中的用户变量。用户变量是一个用户定义的变量,其以开头。…...
web安全第一天 ,域名,dns
第一天 什么是域名?域名就是网络地址 在hhtp之后的就是域名 域名在哪里注册呢 国内注册商有很多,在网络上搜索一下阿里云万网就可以注册 什么是二级域名和多级域名 域名通常都是www.开头 ,而www.被称为顶级域名,在搜索的时候…...
【Linux】Linux编辑神器vim的使用
目录 一、Vim的基本概念 二、Vim的基本操作 1、进入vim 2、正常模式切换至插入模式 3、插入模式切换至正常模式 4、正常模式切换至底行模式 5、退出Vim编辑器 三、Vim正常模式命令集 1、移动光标 2、删除文字 3、复制 4、替换 5、撤销 四、Vim底行模式命令集 1、列出行号 2、光…...
vulnhub渗透测试靶场练习1
靶场介绍 靶场名:Medium_socialnetwork 下载地址:https://www.vulnhub.com/entry/boredhackerblog-social-network,454/ 环境搭建 靶机建议选择VM VirtualBox,我一开始尝试使用VMware时会报错,所以改用VM VirtualBox,攻击机使用…...
Uart,RS232,RS485串口通讯协议学习
目录 定义 UART(通常被称为串口,简单意味着使用广泛,具有普适性) RS232 RS232电平转换 RS485 -Recommended Standard (再推荐标准) 485和232的对比 RS485组网 总结 定义 串口是我们都很熟悉的,尤其是需要串口调试的时候,打印信息插…...
UML中的assembly关系
UML中的assembly关系 1.什么是Assembly关系 在UML(统一建模语言)中,"assembly"(组装)是一种表示组件之间关系的关联关系。组件是系统中可替换和独立的模块,可以通过组装来构建更大的系统。 当一…...
[Python]缓存cachetools与TTLCache简介
文章目录 cachetools缓存策略缓存操作 TTLCache cachetools是一个Python第三方库,提供了多种缓存算法的实现。 cachetools 使用前需要先安装pip install cachetools,说明文档参见https://cachetools.readthedocs.io/en/latest/。 cachetools提供了五种…...
现在的00后,真是卷死了呀,辞职信已经写好了·····
都说00后躺平了,但是有一说一,该卷的还是卷。这不,三月份春招我们公司来了个00后,工作没两年,跳槽到我们公司起薪23K,都快接近我了。 后来才知道人家是个卷王,从早干到晚就差搬张床到工位睡觉了…...
【wpf】列表类,用相对源时,如何绑定到子项
前言 在之前的一篇文章 :《【wpf】深度解析,Binding是如何寻找数据源的》https://blog.csdn.net/songhuangong123/article/details/126195727#:~:text%E3%80%90wpf%E3%80%91%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90%EF%BC%8CBinding%E6%98%AF%E5%A6%82%E4…...
头歌计算机组成原理实验—运算器设计(3)第3关:4位快速加法器设计
第3关:4位快速加法器设计 实验目的 帮助学生掌握快速加法器中先行进位的原理,能利用相关知识设计4位先行进位电路,并利用设计的4位先行进位电路构造4位快速加法器,能分析对应电路的时间延迟。 视频讲解 实验内容 利用前一步设…...
Java中synchronized的优化
本文介绍为了实现高效并发,虚拟机对 synchronized 做的一系列的锁优化措施 高效并发是从 JDK5 升级到 JDK6 后一项重要的改进项,HotSpot 虚拟机开发团队在 JDK6 这个版本上花费了大量的资源去实现各种锁优化技术,如适应性自旋(Ada…...
软件测试技术课程:软件测试流程
软件测试流程如下: 测试计划测试设计测试执行 单元测试集成测试确认测试系统测试验收测试回归测试验证活动 测试计划 测试计划由测试负责人来编写,用于确定各个测试阶段的目标和策略。这个过程将输出测试计划,明确要完成的测试活动&#x…...
可靠性+灵活性:电力载波技术在楼宇自控中的核心价值
可靠性灵活性:电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中,电力载波技术(PLC)凭借其独特的优势,正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据,无需额外布…...
理解 MCP 工作流:使用 Ollama 和 LangChain 构建本地 MCP 客户端
🌟 什么是 MCP? 模型控制协议 (MCP) 是一种创新的协议,旨在无缝连接 AI 模型与应用程序。 MCP 是一个开源协议,它标准化了我们的 LLM 应用程序连接所需工具和数据源并与之协作的方式。 可以把它想象成你的 AI 模型 和想要使用它…...
从深圳崛起的“机器之眼”:赴港乐动机器人的万亿赛道赶考路
进入2025年以来,尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断,但全球市场热度依然高涨,入局者持续增加。 以国内市场为例,天眼查专业版数据显示,截至5月底,我国现存在业、存续状态的机器人相关企…...
论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(一)
宇树机器人多姿态起立控制强化学习框架论文解析 论文解读:交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(一) 论文解读:交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...
Pinocchio 库详解及其在足式机器人上的应用
Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库,专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性,并提供了一个通用的框架&…...
初探Service服务发现机制
1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能:服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源…...
return this;返回的是谁
一个审批系统的示例来演示责任链模式的实现。假设公司需要处理不同金额的采购申请,不同级别的经理有不同的审批权限: // 抽象处理者:审批者 abstract class Approver {protected Approver successor; // 下一个处理者// 设置下一个处理者pub…...
人机融合智能 | “人智交互”跨学科新领域
本文系统地提出基于“以人为中心AI(HCAI)”理念的人-人工智能交互(人智交互)这一跨学科新领域及框架,定义人智交互领域的理念、基本理论和关键问题、方法、开发流程和参与团队等,阐述提出人智交互新领域的意义。然后,提出人智交互研究的三种新范式取向以及它们的意义。最后,总结…...
Go 并发编程基础:通道(Channel)的使用
在 Go 中,Channel 是 Goroutine 之间通信的核心机制。它提供了一个线程安全的通信方式,用于在多个 Goroutine 之间传递数据,从而实现高效的并发编程。 本章将介绍 Channel 的基本概念、用法、缓冲、关闭机制以及 select 的使用。 一、Channel…...
【Linux】Linux 系统默认的目录及作用说明
博主介绍:✌全网粉丝23W,CSDN博客专家、Java领域优质创作者,掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围:SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...
