Hadoop集群启动从节点没有DataNode
一、问题背景
之前启动hadoop集群的时候都没有问题,今天启动hadoop集群的时候,从节点的DataNode没有启动起来。
二、解决思路
遇见节点起不来的情况,可以去看看当前节点的日志文件
我进入当前从节点的hadoop安装目录的Logs文件下去查看日志,发现日志报了错误(查看了日志如果发现有很多at的情况,那就说明是有问题了,不用去管那一大长串at,我们只需要找到at之前的第一句就好了,那一句才是问题的关键)
我查看日志文件的时候,出现如下错误:
WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/hadoop/software/hadooptmp/dfs/data
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/software/hadooptmp/dfs/data is in an inconsistent state: Can't format the storage directory because the current directory is not empty.

问题大体说的就是我的存放数据的目录不能添加文件,说当前目录不为空。
三、解决办法:
1. 在集群的主节点,用root身份,进入tmp 目录
用root用户登录之后
cd /tmp
之后 ll 查看tmp目录下的内容

会看见以hadoop开头的一些文件(我的这里有三个文件,可能你的和我的不太一样,但是没关系),把以hadoop开头的文件全部删除
删除的目的是因为,接下来要从新格式化hadoop集群,这些文件是之前格式化文件的时候产生的,如果不删除这些文件,直接从新格式化hadoop集群的话,之后可能会出现一些问题,有冲突的情况,所以这里要先把这些文件删除了。
2. 删除hadoop的日志文件
(1)删除hadoop存储数据的文件下的所有内容,每台主机都要分别删除
如果不知道自己hadoop存储数据的目录在哪里,可以到hadoop安装目录下的/etc/hadoop/core-site.xml 文件下查看

(2)分别在集群的每台主机,进入hadoop安装目录的logs文件,将logs下边的所有文件全部删除。

注意:这里hadoop集群的每台主机都要去删除
3. 格式化hadoop
hadoop namenode -format
4. 启动Hadoop集群
start-all.sh
5. 之后jps查看,问题就解决了
以上就是我解决问题的步骤了,希望可以帮助到你,如果有什么不清楚的地方请留言
相关文章:
Hadoop集群启动从节点没有DataNode
一、问题背景 之前启动hadoop集群的时候都没有问题,今天启动hadoop集群的时候,从节点的DataNode没有启动起来。 二、解决思路 遇见节点起不来的情况,可以去看看当前节点的日志文件 我进入当前从节点的hadoop安装目录的Logs文件下去查看日…...
FIFO IP Core
FIFO IP Core 先进先出的缓存器常常被用于数据的缓存,或者高速异步数据交互(跨时钟信号传递)和RAM和ROM的区别是没有地址线,无法指定地址 写时钟(Write Clock Domain),读时钟写复位(wr_rst),读…...
从FPGA说起的深度学习(四)
这是新的系列教程,在本教程中,我们将介绍使用 FPGA 实现深度学习的技术,深度学习是近年来人工智能领域的热门话题。在本教程中,旨在加深对深度学习和 FPGA 的理解。用 C/C 编写深度学习推理代码高级综合 (HLS) 将 C/C 代码转换为硬…...
pytorch入门7--自动求导和神经网络
深度学习网上自学学了10多天了,看了很多大神的课总是很快被劝退。终于,遇到了一位对小白友好的刘二大人,先附上链接,需要者自取:https://b23.tv/RHlDxbc。 下面是课程笔记。 一、自动求导 举例说明自动求导。 torch中的…...
QT 之wayland 事件处理分析基于qt5wayland5.14.2
1. Qt wayland 初始化 接收鼠标/案件,触摸屏等事件事件 QWaylandNativeInterface : public QPlatformNativeInterface 在QWaylandNativeInterface 继承qpa 接口类QPlatformNativeInterface; 1.1 初始化鼠标: void *QWaylandNativeInterface::nativeR…...
【this 和 super 的区别】
在 Java 中,this 和 super 都是关键字,表示当前对象和父类对象。 this 关键字可以用于以下几种情况: 引用当前对象的成员变量,方法和构造方法,用于区分局部变量和成员变量重名的情况; 调用当前类的另外一…...
K8s:Monokle Desktop 一个集Yaml资源编写、项目管理、集群管理的 K8s IDE
写在前面 Monokle Desktop 是 kubeshop 推出的一个开源的 K8s IDE相关项目还有 Monokle CLI 和 Monokle Cloud相比其他的工具,Monokle Desktop 功能较全面,涉及 k8s 管理的整个生命周期博文内容:Monokle Desktop 下载安装,项目管理…...
自动化测试实战篇(8),jmeter并发测试登录接口,模拟从100到1000个用户同时登录测试服务器压力
首先进行使用jmeter进行并发测试之前就需要搞清楚线程和进程的区别还需要理解什么是并发、高并发、并行。还需要理解高并发中的以及老生常谈的,TCP三次握手协议和TCP四次握手协议**TCP三次握手协议指:****TCP四次挥手协议:**进入Jmeter&#…...
ATTCK v12版本战术实战研究—持久化(二)
一、前言前几期文章中,我们介绍了ATT&CK中侦察、资源开发、初始访问、执行战术、持久化战术的知识。那么从前文中介绍的相关持久化子技术来开展测试,进行更深一步的分析。本文主要内容是介绍攻击者在运用持久化子技术时,在相关的资产服务…...
python函数式编程
1 callable内建函数判断一个名字是否为一个可调用函数 >>> import math >>> x 1 >>> y math.sqrt >>> callable(x) False >>> callable(y) True 2 记录函数(文档字符串) >>> def square(x): …...
3.linux下安装mysql
1.安装前的环境准备 查看是否安装过mysql 首先检测Linux操作系统中是否安装了MySQL: # rpm -qa | grep -i mysql 卸载安装包 如果有信息出现,则进行删除,命令如下: # rpm -e --nodeps 包名 删除老版本mysql的开发头文件和…...
17、MySQL分库分表,原理实战
MySQL分库分表,原理实战 1.MyCAT分布式架构入门及双主架构1.1 主从架构1.2 MyCAT安装1.3 启动和连接1.4 配置文件介绍2.MyCAT读写分离架构2.1 架构说明2.2 创建用户2.3 schema.xml2.4 连接说明2.5 读写测试2.6 当前是单节点3.MyCAT高可用读写分离架构3.1 架构说明3.3 schema.xm…...
【C++的OpenCV】第九课-OpenCV图像常用操作(六):图像形态学-阈值的概念、功能及操作(threshold()函数))
目录一、阈值(thresh)的概念二、阈值在图形学中的用途三、阈值的作用和操作3.1 在OpenCV中可以进行的阈值操作3.2 操作实例3.2.1 threshold()函数介绍3.2.2 实例3.2.3 结果上节课的内容(作者还是鼓励各位同学按照顺序进行学习哦)&…...
[Java代码审计]—MCMS
环境搭建 MCMS 5.2.4:https://gitee.com/mingSoft/MCMS/tree/5.2.4/利用 idea 打开项目 创建数据库 mcms,导入 doc/mcms-5.2.8.sql 修改 src/main/resources/application-dev.yml 中关于数据库设置参数 启动项目登录后台 http://localhost:8080/ms/l…...
《程序员面试金典(第6版)》面试题 01.08. 零矩阵
题目描述 编写代码,移除未排序链表中的重复节点。保留最开始出现的节点。 示例1: 输入:[1, 2, 3, 3, 2, 1] 输出:[1, 2, 3] -示例2: 输入:[1, 1, 1, 1, 2] 输出:[1, 2] 提示: 链表长度在[0, 20000]范…...
初识 Python
文章目录简介用途解释器命令行模式交互模式输入和输出简介 高级编程语言,解释型语言代码在执行时会逐行翻译成 CPU 能理解的机器码代码精简,但运行速度慢基础代码库丰富,还有大量第三方库代码不能加密 用途 网络应用工具软件包装其他语言开…...
常用sql语句分享
SELECT COUNT(DISTINCT money) FROM ac_association_course;#COUNT() 函数返回匹配指定条件的行数SELECT AVG(money) FROM ac_association_course;#AVG 函数返回数值列的平均值。NULL 值不包括在计算中SELECT id FROM ac_association_course order by id desc limit 1;#返回最大…...
极狐GitLab DevSecOps 为企业许可证安全合规保驾护航
本文来自: 小马哥 极狐(GitLab) 技术布道师 开源许可证是开源软件的法律武器,是第三方正确使用开源软件的安全合规依据。 根据 Linux 发布的 SBOM 报告显示,98% 的企业都在使用开源软件(中文版报告详情)。随着开源使用…...
后端程序员的前端基础-前端三剑客之HTML
文章目录1 HTML简介1.1 什么是HTML1.2 HTML能做什么1.3 HTML书写规范2 HTML基本标签2.1 结构标签2.2 排版标签2.3 块标签2.4 基本文字标签2.5 文本格式化标签2.6 标题标签2.7 列表标签(清单标签)2.8 图片标签2.9 链接标签2.10 表格标签3 HTML表单标签3.1 form元素常用属性3.2 i…...
VS2019加载解决方案时不能自动打开之前的文档(回忆消失)
✏️作者:枫霜剑客 📋系列专栏:C实战宝典 🌲上一篇: 错误error c3861 :“_T“:找不到标识符 逐梦编程,让中华屹立世界之巅。 简单的事情重复做,重复的事情用心做,用心的事情坚持做; 文章目录前言一、问题描…...
JTAG IDCODE与SWD协议:嵌入式调试核心技术解析
1. JTAG IDCODE机制深度解析在嵌入式系统调试领域,JTAG IDCODE是调试器识别目标设备的核心机制。这个32位寄存器就像设备的"身份证",包含了三个关键信息字段:VERSION(位[31:28]):设备版本代码&am…...
携程问道(workbuddy 合作版)技能接入与使用文档
本文档详细介绍携程问道(workbuddy 合作版)技能(wendao-partner-workbuddy-skill)的接入流程、使用方法、环境配置及注意事项,适用于需要集成该技能并调用携程问道 API 获取旅行相关信息的开发 / 运维人员。一、技能概…...
【军事三维电子沙盘】多源数据融不进去?聊聊我踩过的4个坑无标题
一、先说个真实情况:传统军事沙盘基本废了我不知道别人单位什么样,反正我们之前那个实体沙盘,标一次态势要三四个人搞半天。标完了,情况早变了。雷达数据接不进去,无人机画面挂不上,北斗定位只能手动标。指…...
MIMO OFDM系统中的波束成形技术与定位感知优化
1. MIMO OFDM系统中的波束成形技术概述 在现代无线通信系统中,多输入多输出(MIMO)和正交频分复用(OFDM)技术的结合已成为提升系统性能的关键。波束成形作为MIMO系统的核心技术,通过优化天线阵列的辐射模式,实现信号在空间维度上的选择性传输。…...
开源学习追踪工具:从数据模型到全栈部署的实践指南
1. 项目概述:一个为自律学习而生的开源利器最近在GitHub上闲逛,发现了一个挺有意思的项目,叫KaguraNanaga/study-tracker。光看名字,你可能会觉得这又是一个平平无奇的“学习打卡”应用。但作为一个在效率工具和开源项目里摸爬滚打…...
AGIEval分数暴涨37%的关键路径,从Prompt工程到推理链剪枝——资深AI系统工程师手把手复现
更多请点击: https://intelliparadigm.com 第一章:AGIEval评测体系深度解析与分数跃迁意义 AGIEval 是当前面向通用人工智能能力评估的前沿基准,聚焦于人类认知核心维度——逻辑推理、多步数学推导、法律条文解读、医学诊断分析及复杂指令遵…...
TikTok 短视频生成工具哪家好?2026 深度评测:专业运营到个人创作
在 2026 年,TikTok 已成为全球商业增长的核心战场,而短视频素材的产出效率则是决定成败的关键。面对琳琅满目的工具,TikTok 短视频生成工具哪家好成了创作者和卖家最关心的问题。为了帮你快速锁定最适合的利器,我们综合了官方背书…...
LeetCode 单词搜索II题解
LeetCode 单词搜索II题解 题目描述 给定一个二维字符网格和一个字符串数组,找出所有在网格中出现的单词。 示例: 输入:board [["o","a","a","n"],["e","t","a",&quo…...
大模型产品经理进阶指南:从零基础到行业精英的完整学习路线图!
随着人工智能技术的发展,尤其是大模型(Large Model)的兴起,越来越多的企业开始重视这一领域的投入。作为大模型产品经理,你需要具备一系列跨学科的知识和技能,以便有效地推动产品的开发、优化和市场化。以下…...
别只学STM32了!用ESP32-C3和FreeRTOS实战物联网项目(从环境搭建到云端通信)
从零构建基于ESP32-C3的智能环境监测系统:FreeRTOS与阿里云IoT实战指南 在嵌入式开发领域,传统的STM32学习路径已经不能满足物联网时代对无线连接和云端集成的需求。ESP32-C3作为一款集成Wi-Fi和蓝牙的RISC-V芯片,正成为物联网项目的理想选择…...
