Hadoop部署过程中问题总结
Hadoop伪分布式集群部署问题总结
一、HDFS初始化失败
初始化失败,HDFS初始化操作如下:
hdfs namenode -format
然后我运行后报错:error parsing conf core-site.xml
出现这个信息就说明core-site.xml配置文件出错了,用vim命令可以再修改。这里插入一个小tip,vim命令打开文件后,输入i表示Insert,才能编辑文本,编辑好后摁Esc后输入:wq保存并退出即可。这里出错可以看一下日志报告的什么错误,比如我的这个就是name打错成了neme,修改过后就初始化成功了。
初始化成功会显示如下图片内容:Storage。。。。successfully formatted

二、初次启动HDFS需要格式化
格式化操作如下
hdfs bin/hdfs namenode -format
不要多次格式化,后面会出问题。多次格式化需要删除/usr/hadoop/hadoopdata目录后再重新格式化
三、在linux上登录hadoop用户
因为前面只配置了hadoop用户的环境变量,不登录启动不了HDFS。
1.需要创建hadoop用户
sudo useradd hadoop
2.设置hadoop用户密码
sudo passwd hadoop
3.添加 Hadoop 用户到 Hadoop 组
sudo usermod -a -G hadoop hadoopuser
注意空格
4.切换登录账户
su - hadoop
这时候又报错了-bash-4.2$
将/etc/skel目录下的环境变量文件拷贝到当前用户根目录,然后重新登录
操作方法如下:
1.创建根目录
mkdir /home/hadoop
2.修改权限
chown hadoop:hadoop /home/hadoop
3.拷贝文件
bash-4.2$ cp /etc/skel/.bash* ~/
注意空格
4.重新登录
bash-4.2$ bash
这里又有新问题,因为使用了sudo命令,错误:hadoop 不在 sudoers 文件中。此事将被报告。
我从网上查了一些解决方案,但是我没有管。我是直接转到初始目录下操作上面1,2,3步以后登录,登录后依然是bash-4.2$,直接bash就登录上了。


四、启动HDFS和YARN报错
启动HDFS和YARN时又报错了,Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)Starting datanodes这时候我登陆了hadoop账户,但是我忽略了一个重要问题,那就是格式化的时候用的是root,这时候使用hadoop启动权限是不够的,一开始的时候只配置了hadoop用户的环境变量,再加一个root变量就可以解决问题了。
登录用户错误
添加root变量:
vim /etc/profile
添加root环境变量到最后
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
然后source /etc/profile使配置文件生效即可。
用户权限解决了,又出现了新的问题
Java路径问题
解决方法:vim /app/hadoop-3.2.2/etc/hadoop/hadoop-env.sh,加粗部分是本人安装hadoop的路径,因人而异。
添加export JAVA_HOME=/usr/local/java/jdk1.8.0_341/(自己的Java路径)注意不要添加到注释后面。
最后,启动HDFS和YARN终于成功。


相关文章:
Hadoop部署过程中问题总结
Hadoop伪分布式集群部署问题总结 一、HDFS初始化失败 初始化失败,HDFS初始化操作如下: hdfs namenode -format然后我运行后报错:error parsing conf core-site.xml 出现这个信息就说明core-site.xml配置文件出错了,用vim命令可…...
低成本IC上岸攻略—IC设计网课白嫖篇
数字电路基础 清华大学 王红主讲:数字电子技术基础 西安电子科技大学 任爱锋主讲:数字电路与逻辑设计 模拟电路基础 上交大 郑益慧主讲:模拟电子技术基础 清华大学 华成英主讲:模拟电子技术基础 半导体物理: 西…...
BootLoader为什么要分阶段?
BootLoader(引导加载程序)分阶段的设计主要是为了实现系统的启动和引导过程的可靠性、可维护性和灵活性。这种分阶段的设计允许引导加载程序执行不同的任务,并在不同的环境下工作。以下是引导加载程序分阶段的主要原因: 1. 启动环…...
Centos8: 安装python2, 并设置默认版本
文章目录 原本centos上已经有python3.6了,因为要运行旧代码,需要安装python2版本。 #在CentOS 8上安装Python 2 sudo dnf install python2#设置默认Python版本 python2 sudo alternatives --set python /usr/bin/python2#设置默认Python版本 python3 sud…...
【逆向】导入表注入
练手的exe链接 链接:https://pan.baidu.com/s/1_87QNHaZYlfY_5uwIRePUQ?pwd6gds 提取码:6gds 原理: 在动态链接库一章提到DllMain,这里再回顾一次 当dll被加载进4GB空间时,会调用一次DllMain(入口方法&…...
Unity游戏开发中打造游戏攻击技能架构与设计
一、技能系统的设计 在 MOBA 游戏中,每个英雄角色都会有多个技能,这些技能可以分为普通攻击和技能攻击两种。普通攻击是英雄角色的基本攻击方式,而技能攻击则需要消耗一定的资源(如蓝量)才能使用。在设计技能系统时&a…...
【微信小程序开发】小程序微信用户授权登录(用户信息手机号)
🥳🥳Welcome Huihuis Code World ! !🥳🥳 接下来看看由辉辉所写的关于小程序的相关操作吧 目录 🥳🥳Welcome Huihuis Code World ! !🥳🥳 授权流程讲解 一.用户信息授权登录 1.w…...
VSCode 自动格式化
1.打开应用商店,搜索 prettier code formatter ,选择第一个,点击安装。 2.安装完成后,点击文件,选择首选项,选择设置。 3.在搜索框内输入 save ,勾选在保存时格式化文件。 4.随便打开一个文件&a…...
数据库、数据仓库相关
1. 数据库与数据仓库的区别 数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理。数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。 数据库和数据仓库是两种不同的数据存储方式,它们的设计目的和使用场景也有所不同。数据库通常用于…...
【STM32】RCC时钟模块(使用HAL库)
https://gitee.com/linhir-linhir/stm32-f103-c8/blob/master/STM32%E6%9C%80%E6%96%B0%E5%9B%BA%E4%BB%B6%E5%BA%93v3.5/Libraries/STM32F10x_StdPeriph_Driver/inc/stm32f10x_rcc.h STM32最新固件库v3.5/Libraries/CMSIS/CM3/DeviceSupport/ST/STM32F10x/system_stm32f10x.c…...
WPF中的绑定知识详解(含案例源码分享)
✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…...
【JVM】类的生命周期
【JVM】类的生命周期 文章目录 【JVM】类的生命周期1. 生命周期概述2. 加载阶段3. 连接阶段3.1 验证3.2 准备3.3 解析 4. 初始化阶段4.1 触发初始化的方式4.2 clinit不存在的情况4.3 多个类的初始化 5. 总结 1. 生命周期概述 类的生命周期分为5/7个阶段: 加载(Loa…...
asp.net网上商城系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio协同过滤设计
一、源码特点 asp.net网上商城系统是一套完善的web设计管理系统系统采用协同过滤算法进行商品推荐,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为vs2010,数据库 为sqlserver2008,使用c#语言开发 ASP…...
APUS入驻百度灵境矩阵,普惠AI大模型插件能力
10月17日,APUS出席百度世界大会2023。会上,百度公布了灵境矩阵业务进展,APUS作为灵境矩阵首批合作伙伴正与百度携手拓展大模型能力边界、构建大模型应用生态。 百度认为,大模型将繁荣AI应用生态,在生态搭建过程中&…...
通过C++调用Com接口
头文件 #include <iostream> #include <Windows.h> #include <comdef.h> #include <rpcdce.h> using namespace std; #pragma comment(lib, "Rpcrt4.lib")72C24DD5-D70A-438B-8A42-98424B88AFB8 通过Wscript.Shell来创建进程: void Wscri…...
完全背包问题
目录 1. 朴素解法 2. 优化 原题链接: 3. 完全背包问题 - AcWing题库 题目描述: 有 N 种物品和一个容量是 V 的背包,每种物品都有无限件可用。 第 i 种物品的体积是 vi,价值是 wi。 求解将哪些物品装入背包,可使这些…...
J2EE的N层体系结构
J2EE平台采用了多层分布式应用程序模型,实现不同逻辑功能的应用程序被封装到不同的构件中,处于不同层次的构件可被分别部署到不同的机器中。 RMI/IIOP:RMI(Remote Method Invocation,远程方法调用)是Java的…...
Quirks(怪癖)模式是什么?它和 Standards(标准)模式有什么区别?
目录 前言: 用法: 代码: Quirks模式示例: Standards模式示例: 理解: Quirks模式: Standards模式: 高质量讨论: 前言: "Quirks模式"和"Standards模式"是与HTML文档渲染模式相关的两种模式。它们影响着浏览器如何解释和渲染HT…...
自然语言处理---Transformer模型
Transformer概述 相比LSTM和GRU模型,Transformer模型有两个显著的优势: Transformer能够利用分布式GPU进行并行训练,提升模型训练效率。 在分析预测更长的文本时,捕捉间隔较长的语义关联效果更好。 Transformer模型的作用 基于seq…...
动画系统的前世今生(一)
掐指一算,五年没更新过我的CSDN账号啦,方向也从人工智能变成了计算机图形学,当然也依旧会关注AI的发展,之前在知乎上写了一些文章[传送门],后续也会逐渐同步到CSDN上~ 这个系列将包含五篇文章,内…...
告别多显示器DPI混乱:SetDPI让Windows显示体验重获新生
告别多显示器DPI混乱:SetDPI让Windows显示体验重获新生 【免费下载链接】SetDPI 项目地址: https://gitcode.com/gh_mirrors/se/SetDPI 问题发现:当多显示器成为工作障碍 多显示器用户最常遇到的显示难题是什么?想象这样的场景&…...
2026最权威的五大降AI率方案实测分析
Ai论文网站排名(开题报告、文献综述、降aigc率、降重综合对比) TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 在进行 内容创作 时,要降低 AIGC 率,其核心之处在于 削弱 机器生成所…...
使用PHP和Xunsearch实现歌曲搜索功能
要打造一款高效的音乐网站,搜索功能绝对是重中之重!试想一下,当用户打开你的音乐网站,输入一首歌名,却发现搜索结果不仅慢,还不精准,那简直就是“用户流失现场”!今天我们聊聊如何用…...
实战指南:基于快马ai生成fpga图像处理系统,从算法到硬件实现
实战指南:基于快马AI生成FPGA图像处理系统,从算法到硬件实现 最近在做一个实时视频处理的项目,需要用到FPGA来实现图像灰度化和二值化处理。作为一个FPGA新手,我发现从算法到硬件实现的过程确实有不少坑要踩。好在使用了InsCode(…...
Matplotlib 第三章 布局格式定方圆
一、子图1.plt.subplots() 绘制均匀状态下的子图(1)核心参数参数作用nrows, ncols子图的行数、列数(第一个数为行,第二个为列)figsize整个画布的大小,格式为 (宽, 高),单位英寸sharex/sharey是否…...
基于Vivado的AD9680 FPGA芯片测试程序开发之旅
基于vivado的ad9680 FPGA芯片测试1g采样率lane4 verilog编写,包括配置ad,配置时钟,jesd204b接收 在FPGA开发领域,与高速ADC芯片如AD9680协同工作是一项充满挑战但又极具乐趣的任务。今天咱们就聊聊基于Vivado平台,针对…...
MaaYuan:基于MaaFramework的智能游戏自动化解决方案
MaaYuan:基于MaaFramework的智能游戏自动化解决方案 【免费下载链接】MaaYuan 代号鸢 / 如鸢 一键长草小助手 项目地址: https://gitcode.com/gh_mirrors/ma/MaaYuan 你是否曾因手游日常任务的重复性操作而感到疲惫?《代号鸢》和《如鸢》这类游戏…...
AI辅助开发:打造能自动检测环境并智能引导用户的安装包
AI辅助开发:打造能自动检测环境并智能引导用户的安装包 最近在开发一个文件加密小工具时,我尝试用AI辅助的方式让安装包变得更智能。传统安装包往往只是机械地执行复制文件的操作,而通过AI技术的融入,我们可以让软件分发过程更贴…...
快速原型设计:利用快马ai十分钟搭建永久在线crm网站演示版
快速原型设计:利用快马AI十分钟搭建永久在线CRM网站演示版 最近在做一个客户关系管理系统的概念验证,需要快速搭建一个可交互的演示版本来向团队和投资人展示核心功能。传统开发方式下,从零开始构建这样一个原型至少需要几天时间,…...
3个革新性突破让DRM解除不再困扰:智能化Steam游戏授权管理方案
3个革新性突破让DRM解除不再困扰:智能化Steam游戏授权管理方案 【免费下载链接】Steam-auto-crack Steam Game Automatic Cracker 项目地址: https://gitcode.com/gh_mirrors/st/Steam-auto-crack 在数字娱乐时代,DRM(数字版权管理&am…...
