当前位置: 首页 > news >正文

wsl [Ubuntu20.04.6] 安装 Hadoop

文章目录

  • 1.安装WSL
  • 2.安装Java
  • 安装Hadoop3.3
    • 配置文件
      • 1.修改hadoop-env.sh
      • 2.修改core-site.xml
      • 3.修改hdfs-site.xml
  • ssh
  • 启动

1.安装WSL

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 重启电脑

管理员打开powershell

PS C:\windows\system32> wsl --list --online
PS C:\windows\system32> wsl --install -d Ubuntu-20.04

在这里插入图片描述

2.安装Java

# 下载链接
https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz# 复制到Ubuntu
# 安装Java
sudo tar -zxvf  jdk-*-linux-x64.tar.gz -C  /usr/local 
cd /usr/local
sudo mv jdk* jdk8

环境变量
vim ~/.bashrc

# jdk环境
export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source .bashrc
java -version

安装Hadoop3.3

# 下载
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz# 复制到Ubuntu
sudo tar -zxvf  hadoop*.tar.gz -C  /usr/local 
cd /usr/local
sudo mv hadoop* hadoop
  • 环境变量
    vim ~/.bashrc
# Hadoop环境
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native

source ~/.bashrc

hadoop version

配置文件

cd /usr/local/hadoop/etc/hadoop

1.修改hadoop-env.sh

  1. 在hadoop-env.sh顶部添加
export HDFS_NAMENODE_USER=用户名
export HDFS_DATANODE_USER=用户名
export HDFS_SECONDARYNAMENODE_USER=用户名
export YARN_RESOURCEMANAGER_USER=用户名
export YARN_NODEMANAGER_USER=用户名
  1. 在hadoop-env.sh尾部添加
export JAVA_HOME=/usr/local/jdk8
# 解决Unable to load native-hadoop library for your platform...
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

2.修改core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

3.修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

文章目录

  • 1.安装WSL
  • 2.安装Java
  • 安装Hadoop3.3
    • 配置文件
      • 1.修改hadoop-env.sh
      • 2.修改core-site.xml
      • 3.修改hdfs-site.xml
  • ssh
  • 启动

ssh

sudo service ssh start
# 尝试是否可以连接本机(重要)
ssh 用户名@localhost

解决Permission denied (publickey).
连不上参考 解决Permission denied (publickey).

启动

/usr/local/hadoop/bin/hdfs namenode –format./sbin/start-all.shjps

在这里插入图片描述
恭喜你, 安装成功!

参考

相关文章:

wsl [Ubuntu20.04.6] 安装 Hadoop

文章目录 1.安装WSL2.安装Java安装Hadoop3.3配置文件1.修改hadoop-env.sh2.修改core-site.xml3.修改hdfs-site.xml ssh启动 1.安装WSL 重启电脑 管理员打开powershell PS C:\windows\system32> wsl --list --online PS C:\windows\system32> wsl --install -d Ubuntu-2…...

2023华为ict网络赛道初赛(部分)试题

2023华为ict网络赛道初赛&#xff08;部分&#xff09;试题 10.在网络运维中&#xff0c;Telnet是用于连接远程设备的协议之一&#xff0c;那么以下哪一个设备不支持通过Telnet协议远程连接&#xff1f; PCACAPAR 12.openFlow交换机基于流表转发报文&#xff0c;每个流表项由…...

rabbitMq虚拟主机概念

虚拟主机是RabbitMQ中的一种逻辑隔离机制&#xff0c;用于将消息队列、交换机以及其他相关资源进行隔离。 在RabbitMQ中&#xff0c;交换机&#xff08;Exchange&#xff09;用于接收生产者发送的消息&#xff0c;并根据特定的路由规则将消息分发到相应的队列中。而虚拟主机则…...

2-CentOS7.9下安装docker

默认情况下,CentOS7.9下有两种方法可以安装docker,分别是在线安装docker和离线安装docker(伪离线,最后还是需要网络支持) 1.环境信息 HostNameIPAddressOS VersionDocker VersionNotecentos79172.20.10.12CentOS Linux release 7.9.2009 (Core)Docker version 23.0.6, buil…...

【已验证-直接用】微信小程序wx.request请求服务器json数据并渲染到页面

微信小程序的数据总不能写死吧&#xff0c;肯定是要结合数据库来做数据更新&#xff0c;而小程序数据主要是json数据格式&#xff0c;所以我们可以利用php操作数据库&#xff0c;把数据以json格式数据输出即可。 现在给大家讲一下微信小程序的wx.request请求服务器获取数据的用…...

如何提高小红书笔记的互动率

相信有很多新手在运营小红书的时候&#xff0c;可能都会遇到过以下这样的情况&#xff1a; 笔记点赞、收藏数据明明还可以&#xff0c;但评论区却没有人留言&#xff1f;为何大家只给点赞、收藏&#xff0c;却不关注账号&#xff1f; 其实&#xff0c;这背后有很多运营技巧&a…...

RabbitMQ 系列教程

一、RabbitMQ 部署及配置详解(集群部署) 二、RabbitMQ 部署及配置详解 (单机) 三、RabbitMQ 详解及实例&#xff08;含错误信息处理&#xff09; 四、RabbitMq死信队列及其处理方案 五、RabbitMQ Java开发教程—官方原版 六、RabbitMQ Java开发教程&#xff08;二&#x…...

无感刷新token

无感刷新 无感刷新Token技术是一种用于实现持久登录体验的关键技术&#xff0c;它通过在用户登录后自动刷新Token&#xff0c;以延长用户的登录状态&#xff0c;避免频繁要求用户重新登录。 实现 使用access_token&#xff08;短效token&#xff09;和refresh_token&#xf…...

【Python大数据笔记_day06_Hive】

hive内外表操作 建表语法 create [external] table [if not exists] 表名(字段名 字段类型 , 字段名 字段类型 , ... ) [partitioned by (分区字段名 分区字段类型)] # 分区表固定格式 [clustered by (分桶字段名) into 桶个数 buckets] # 分桶表固定格式 注意: 可以排序[so…...

Netty--文件编程

3. 文件编程 3.1 FileChannel ⚠️ FileChannel 工作模式 FileChannel 只能工作在阻塞模式下 获取 不能直接打开 FileChannel&#xff0c;必须通过 FileInputStream、FileOutputStream 或者 RandomAccessFile 来获取 FileChannel&#xff0c;它们都有 getChannel 方法 通过…...

SVN 服务器建立

1.建立SVN库 svnadmin create cat svndir/conf/passwd 修改SVN用户密码 chenht 123456 2.建立目录权限 [aliases] # joe /CXZ/STDessert/LSnake City/OSnake Oil, Ltd./OUResearch Institute/CNJoe Average [groups] # harry_and_sally harry,sally # harry_sally_…...

iPhone或在2024开放第三方应用商店。

iPhone或开放第三方应用商店&#xff0c;可以说这是一个老生常谈的话题。对于像是iOS这样封闭的系统来说&#xff0c;此前传出苹果可能开放侧载消息的时候&#xff0c;又有谁能信&#xff0c;谁会信&#xff1f; 如果是按照苹果自身的意愿&#xff0c;这种事情自然是不可能发生…...

《C和指针》笔记36:动态内存分配

1. malloc和free C函数库提供了两个函数&#xff0c;malloc和free&#xff0c;分别用于执行动态内存分配和释放。这些函数维护一个可用内存池。当一个程序另外需要一些内存时&#xff0c;它就调用malloc函数&#xff0c;malloc从内存池中提取一块合适的内存&#xff0c;并向该…...

C/S架构学习之基于UDP的本地通信(服务器)

基于UDP的本地通信&#xff08;服务器&#xff09;&#xff1a;创建流程&#xff1a;一、创建数据报式套接字&#xff08;socket函数&#xff09;&#xff1a; int sock_fd socket(AF_UNIX,SOCK_DGRAM,0);if(-1 sock_fd){perror("socket error");exit(-1);}二、创建…...

excel如何加密(excel加密的三种方法)

Excel是一款广泛使用的办公软件&#xff0c;有时候我们需要对一些重要的Excel文件进行加密&#xff0c;以保证文件的安全性。下面将介绍3种常用的Excel加密方法。 方法一&#xff1a;通过路径文件-另存为-工具-常规选项-设置打开或修改权限密码&#xff08;密码只可以使数字、字…...

玩了个锤子游戏小程序搭建流程:探索深度与逻辑的结合

随着移动互联网的普及&#xff0c;小程序已经成为了越来越多用户的选择。在这个背景下&#xff0c;玩了个锤子游戏小程序应运而生&#xff0c;它为用户提供了一个全新的游戏体验。那么&#xff0c;如何搭建这样一个小程序呢&#xff1f;本文将为大家详细介绍玩了个锤子游戏小程…...

召回率计算及影响因素

召回率是指在所有正样本中&#xff0c;被成功预测为正样本的样本数占比。在机器学习领域&#xff0c;召回率是评估模型预测性能的重要指标之一。在本文中&#xff0c;我们将从多个方面深入探讨召回率的概念和应用。 阈值越高&#xff0c;精准率越高&#xff0c;召回率越低&…...

在Qt中怎么由函数定义自动创建函数实现模板

2023年11月12日&#xff0c;周日凌晨...

【算法】算法题-20231112

算法题 一、459. 重复的子字符串二、414. 第三大的数三、520. 检测大写字母四、680. 验证回文串 II五、283. 移动零 一、459. 重复的子字符串 简单 给定一个非空的字符串 s &#xff0c;检查是否可以通过由它的一个子串重复多次构成。 示例 1: 输入: s “abab” 输出: true…...

目标检测YOLO实战应用案例100讲-基于多目标追踪的交通场景异常检测(续)

目录 3.5特征融合网络改进:小目标检测层 3.5.1小目标检测层 3.6实验结果与讨论...

CentOS 7 下DNF安装与常见报错解决方案

1. 为什么要在CentOS 7上安装DNF&#xff1f; 很多刚接触CentOS 7的开发者可能会疑惑&#xff1a;系统自带的yum包管理器用得好好的&#xff0c;为什么还要折腾DNF&#xff1f;这个问题我也曾经纠结过。经过实际使用对比&#xff0c;我发现DNF确实有不少优势。 首先&#xff0c…...

Ever Gauzy:如何用开源ERP/CRM/HRM平台解决你的企业运营痛点

Ever Gauzy&#xff1a;如何用开源ERP/CRM/HRM平台解决你的企业运营痛点 【免费下载链接】ever-gauzy Ever Gauzy™ - Open Business Management Platform (ERP/CRM/HRM/ATS/PM) - https://gauzy.co 项目地址: https://gitcode.com/gh_mirrors/ev/ever-gauzy 你是否曾为…...

《王者荣耀世界》公测开服!开荒攻略+手机摸鱼,超全攻略一篇搞定!

腾讯天美工作室的《王者荣耀世界》PC端今天&#xff08;4月10日&#xff09;7:00已经正式开服了&#xff01;作为王者IP首个开放世界RPG&#xff0c;这波是真的能“走进”王者大陆了&#xff01;这里整理了开服情报新手开荒攻略摸鱼黑科技&#xff0c;新老玩家都能用上&#xf…...

MCP Server与Client的实战配置指南:从零搭建到功能测试

1. MCP技术入门&#xff1a;从协议理解到生态优势 第一次接触MCP这个概念时&#xff0c;我也是一头雾水。直到真正用起来才发现&#xff0c;这简直就是开发者与AI模型之间的"万能翻译器"。Model Context Protocol&#xff08;模型上下文协议&#xff09;的核心价值在…...

数据链路层核心技术:封装成帧与透明传输的实战解析

1. 数据链路层功能概述 数据链路层是计算机网络体系结构中承上启下的关键层级。想象一下&#xff0c;如果把网络通信比作寄快递&#xff0c;物理层负责的是"把包裹从一个站点运到另一个站点"这个基础动作&#xff0c;而数据链路层则是确保"包裹完整无误地送达&q…...

Flux Sea Studio 生成作品的后期自动化处理:基于Python与PS脚本的流水线

Flux Sea Studio 生成作品的后期自动化处理&#xff1a;基于Python与PS脚本的流水线 你有没有过这样的经历&#xff1f;用Flux Sea Studio生成了一大堆惊艳的海景图&#xff0c;每一张都美得可以做壁纸。但兴奋劲儿还没过&#xff0c;就发现后面还有一堆麻烦事等着你&#xff…...

Ostrakon-VL像素终端部署:飞桨PaddlePaddle后端兼容方案

Ostrakon-VL像素终端部署&#xff1a;飞桨PaddlePaddle后端兼容方案 1. 项目背景与特点 1.1 像素特工终端概述 Ostrakon-VL像素终端是一款专为零售与餐饮行业设计的智能扫描工具&#xff0c;基于Ostrakon-VL-8B多模态大模型开发。与传统工业级UI不同&#xff0c;该终端采用8…...

S2-Pro入门Python编程:零基础到搭建第一个AI应用

S2-Pro入门Python编程&#xff1a;零基础到搭建第一个AI应用 1. 为什么选择S2-Pro学习Python 学习编程最难的不是语法本身&#xff0c;而是如何保持兴趣和看到实际效果。传统学习方式往往需要先花大量时间配置环境、安装软件&#xff0c;还没开始写代码就已经被各种报错劝退。…...

从旋钮到转速:Arduino PWM 直流电机调速实战解析

1. 从零开始&#xff1a;PWM电机控制的核心原理 第一次接触电机控制时&#xff0c;我完全被PWM这个概念搞懵了。什么占空比、频率、脉宽调制&#xff0c;听起来就像天书。直到有天我盯着电风扇发呆&#xff0c;突然明白了&#xff1a;PWM其实就是让电机"喘口气"的技术…...

SQUIRE: Leveraging Sequence-to-sequence Transformers for Robust Multi-hop Knowledge Graph Completion

1. 什么是SQUIRE框架&#xff1f; SQUIRE是一个基于序列到序列Transformer架构的创新性知识图谱补全框架。简单来说&#xff0c;它就像是一个专门为知识图谱设计的"翻译器"——把查询语句&#xff08;比如"阿尔伯特的母语是什么&#xff1f;"&#xff09;转…...