当前位置： 首页 > news >正文

解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

news 2026/1/18 20:48:20

文章目录

  • 1. 复现错误
  • 2. 分析错误
  • 3. 解决问题
    • 3.1 下载Hadoop
    • 3.2 配置Hadoop
    • 3.3 下载winutils
    • 3.4 配置winutils

1. 复现错误


今天在运行同事给我的项目，但在项目启动时，报出如下错误：

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblemsat org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:548)at org.apache.hadoop.util.Shell.getHadoopHomeDir(Shell.java:569)at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:592)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:689)at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)at org.apache.hadoop.conf.Configuration.getBoolean(Configuration.java:1665)at org.apache.hadoop.security.SecurityUtil.setConfigurationInternal(SecurityUtil.java:104)at org.apache.hadoop.security.SecurityUtil.<clinit>(SecurityUtil.java:88)at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:365)at com.test.main(GetHudiSchemaByMetaStore.java:25)
Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:468)at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:439)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:516)... 7 more

即java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

2. 分析错误


通过java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误可知，这是未设置HADOOP_HOME 和hadoop.home.dir 。

HADOOP_HOME和hadoop.home.dir主要是干嘛的呢？是配置在本地环境变量中的Hadoop地址。

那么需要下载Windows版本的Hadoop来设置么？如果是远程连接Linux上的Hadoop集群，则完全不需要再下载安装Windows版本的Hadoop！！！

本地远程连接Hadoop系统时需要在本地配置相关的Hadoop变量，主要包括hadoop.dll与winutils.exe等。

【注意】由于hadoop主要基于linux编写，winutil.exe主要用于模拟linux下的目录环境。

当Hadoop在windows下运行或调用远程Hadoop集群的时候，需要该辅助程序才能运行。winutils是Windows中的二进制文件，适用于不同版本的Hadoop系统并构建在Windows VM上，该VM用以在Windows系统中测试Hadoop相关的应用程序。

3. 解决问题


了解到原因之后，可以根据安装Hadoop集群的版本，下载相应的winutils。

3.1 下载Hadoop


如果你还没有安装Hadoop，可以按如下方式下载：

  1. 去hadoop官网下载，镜像下载链接：https://mirrors.tuna.tsinghua.edu.cn

  2. 也可以下载我百度网盘中的3.2.1版本的：

    • 链接：https://pan.baidu.com/s/1dcywut63xDFSdHIIogZUWw

    • 提取码：y6i4

下载完成后，会得到hadoop-3.2.1.tar.gz，因为我下载的是hadoop-3.2.1版本。

解压hadoop-3.2.1.tar.gz得到hadoop-3.2.1，复制hadoop-3.2.1到你想要的文件夹中。

我是把hadoop-3.2.1放在D:\Software文件夹下。

接下来，我便介绍如何配置Hadoop。

3.2 配置Hadoop

  1. 右键此电脑，点击属性：

在这里插入图片描述

  1. 点击高级系统配置

在这里插入图片描述

  1. 点击环境变量

在这里插入图片描述

  1. 在环境变量中的系统变量，点击新建：

在这里插入图片描述

  1. 新建系统变量，填写变量名和变量值，点击确定

  • 变量名：HADOOP_HOME

  • 变量值：D:\Software\hadoop-3.2.1

在这里插入图片描述

  1. 双击系统变量的path，追加%HADOOP_HOME%\bin

在这里插入图片描述

在这里插入图片描述

之后点击三次确定退出编辑。

  1. 查看配置文件

在hadoop-3.2.1/etc/hadoop目录下，找到hadoop-env.cmd，看jdk目录！

如果你之前配置了java_home，不用修改配置：

在这里插入图片描述

如果你没有配置java_home，需要把jdk的绝对路径写上，比如：C:\Program Files\Java\jdk1.8.0_102。

在这里插入图片描述

3.3 下载winutils

下载winutils，下载离你hadoop最近的版本使用（比如我的hadoop3.2.1，我下载的winutils是3.1.2），不然会出现一些列的问题。

我提供如下两种下载地址：

  1. GitHub下载地址：https://github.com/steveloughran/winutils

在这里插入图片描述

由上图可知，截至完稿的时间，github上的更新到3.0.0，但此版本后面出现一些问题，大家尽量安装和你的hadoop对应的版本。

  1. gitee下载链接：https://gitee.com/shockingblue/winutils

在这里插入图片描述

由上图可知，截至完稿的时间，gitee上的更新到3.2.1，相对github上的版本较多。

或者，从我的网盘中下载winutils：

  1. 链接：https://pan.baidu.com/s/1EG67gZ4MLbHONTdUci4cXg

  2. 提取码：orab

3.4 配置winutils

\

  1. 找到3.1.2版本winutils的bin文件夹

在这里插入图片描述

  1. 用该目录覆盖掉hadoop的bin目录。

在这里插入图片描述

  1. 复制成功之后，会看到下面那个winutils.exe文件：

在这里插入图片描述

  1. 替换后将bin下面的hadoop.dll拷贝到C:\Windows\System32目录下

在这里插入图片描述

  1. 大功告成，记得重启idea

配置完成后，一定要重启idea！否则，配置不生效

相关文章：

解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

文章目录 1. 复现错误2. 分析错误3. 解决问题3.1 下载Hadoop3.2 配置Hadoop3.3 下载winutils3.4 配置winutils 1. 复现错误 今天在运行同事给我的项目&#xff0c;但在项目启动时&#xff0c;报出如下错误&#xff1a; java.io.FileNotFoundException: java.io.FileNotFoundEx…...

编程日记 2023/9/28 8:07:39

软件设计中常见的设计模式

以下是常见的设计模式&#xff0c;并且给出了应用场景&#xff1a; 工厂模式&#xff08;Factory Pattern&#xff09;&#xff1a;用于创建对象&#xff0c;隐藏了具体对象的创建细节&#xff0c;客户端只需要通过工厂接口获取对象即可。应用场景包括&#xff1a;当需要根据不…...

编程日记 2023/9/28 8:05:37

为什么我的remix没有injected web3

原因 Remix近期做了升级&#xff0c;去除了Web3的选项&#xff0c;您在进行部署的时候&#xff0c;可以选择injected provider metamask&#xff0c;同样能连接到Web3钱包哦。具体如下图所示&#xff1a;...

编程日记 2023/9/28 8:04:37

第1章 数据结构绪论

1.1 开场白 1.2 你数据结构怎么学的 1.3 数据结构起源 早期人们都把计算机理解为数值计算工具&#xff0c;就是感觉计算机当然是用来计算的&#xff0c;所以计算机解决问题&#xff0c;应该是先从具体问题中抽象出一个适当的数据模型&#xff0c;设计出一个解此数据模型的算…...

编程日记 2023/9/28 8:03:36

现代 GPU 容易受到新 GPU.zip 侧通道攻击

来自四所美国大学的研究人员开发了一种新的 GPU 侧通道攻击&#xff0c;该攻击利用数据压缩在访问网页时泄露现代显卡中的敏感视觉数据。 研究人员通过 Chrome 浏览器执行跨源 SVG 过滤器像素窃取攻击&#xff0c;证明了这种“ GPU.zip ”攻击的有效性。 研究人员于 2023 年 …...

编程日记 2023/9/28 8:02:35

8+单基因+细胞凋亡+WGCNA+单细胞+实验验证

今天给同学们分享一篇单基因细胞凋亡WGCNA实验验证的生信文章“RASGRP2 is a potential immune-related biomarker and regulates mitochondrial-dependent apoptosis in lung adenocarcinoma”&#xff0c;这篇文章于2023年2月3日发表在Front Immunol期刊上&#xff0c;影响因…...

编程日记 2023/9/28 8:01:33

BM4 合并两个排序的链表

思路&#xff1a;先选择最小的作为Head&#xff0c;每次从两个队列中取最小的挂到Head后面&#xff0c;如果一个合并空&#xff0c;后面直接挂。此外判断几个为空链表的情况 /*** struct ListNode {* int val;* struct ListNode *next;* ListNode(int x) : val(x), next(nullp…...

编程日记 2023/9/28 7:58:31

【lesson12】理解进程地址空间

文章目录 什么是进程地址空间&#xff1f;进程地址空间的作用扩展内容初步理解深入理解 什么是进程地址空间&#xff1f; 故事&#xff1a; 背景&#xff1a;有一个大富豪&#xff0c;家里的存款有10亿美元&#xff0c;他有三个私生子三个人之间彼此互不相识&#xff0c;只有富…...

编程日记 2023/9/28 7:56:29

计算机里的神灵（SCIP）

计算机程序的构造和解释 我找到计算机里的神灵了&#xff0c;开心一刻 下面是从MIT官网下载的 SCIP求值器&#xff08;解释器&#xff09;的代码&#xff0c;这个官网是个宝藏库 还有其他视频课程和 SCIP的问题答案和可运行代码 链接&#xff1a;https://ocw.mit.edu/courses/6…...

编程日记 2023/9/28 7:55:28

基于微信小程序的公交信息在线查询系统小程序设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言系统主要功能&#xff1a;具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09;有保障的售后福利 代码参考源码获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计…...

编程日记 2023/9/28 7:54:27

【STM32】IAP升级01 bootloader实现以及APP配置（主要）

APP程序以及中断向量表的偏移设置 前言 通过之前的了解 之前的了解&#xff0c;我们知道实现IAP升级需要两个条件&#xff1a; 1.APP程序必须在 IAP 程序之后的某个偏移量为 x 的地址开始&#xff1b; 2.APP程序的中断向量表相应的移动&#xff0c;移动的偏移量为 x&#xff…...

编程日记 2023/9/28 7:49:23

ruoyi（若依）接口拦截路径配置，接口访问要授权，放开授权直接访问

1.找到文件SecurityConfig.java文件&#xff0c;里面配置相应的放行路径...

编程日记 2023/9/28 7:44:19

Ctfshow web入门 XSS篇 web316-web333 详细题解 全

CTFshow XSS web316 是反射型 XSS 法一&#xff1a; 利用现成平台 法二&#xff1a; 自己搭服务器 先在服务器上面放一个接受Cookie的文件。 文件内容&#xff1a; <?php$cookie $_GET[cookie];$time date(Y-m-d h:i:s, time());$log fopen("cookie.txt"…...

编程日记 2023/9/28 7:43:18

watch()监听vue2项目角色权限变化更新挂载

<template><div><el-form:model"updateRole"ref"roleForm"label-width"100px"label-position"right"style"width: 400px":rules"roleRules"><el-form-item label"角色名称" prop&…...

编程日记 2023/9/28 7:42:17

轻量化设计、佩戴更舒适——轻律 Umelody U1头戴式蓝牙耳机

头戴式耳机不像以前那么笨重&#xff0c;身边很多人都在用&#xff0c;而且拍照还巨出片&#xff0c;拍照累了还能听歌放松&#xff0c;何乐而不为&#xff0c;国庆节即将来临&#xff0c;秋冬季节也就快要到了&#xff0c;棕色在合适不过了&#xff0c;最近有一款高颜值的复古…...

编程日记 2023/9/28 7:39:15

嵌入式Linux应用开发-基础知识-第三章 LED原理图-GPIO及操作

嵌入式Linux应用开发-基础知识-第三章 LED原理图-GPIO及操作 第三章 硬件知识_LED 原理图3.1 先来讲讲怎么看原理图 第四章 普适的 GPIO 引脚操作方法4.1 GPIO 模块一般结构4.2 GPIO 寄存器操作4.3 GPIO 的其他功能&#xff1a;防抖动、中断、唤醒 第五章 具体单板的 GPIO 操作…...

编程日记 2023/9/28 7:37:13

外贸人员如何选择适合的邮箱服务

随着互联网和数字技术的快速发展&#xff0c;电子邮件已经成为商务沟通的主要方式之一。对于外贸人员来说&#xff0c;选择一个合适且高效的邮箱服务至关重要。本文将探讨外贸人员在选择外贸邮箱时应考虑的因素&#xff0c;以便找到最适合自己的解决方案。 “外贸人员如何选择合…...

编程日记 2023/9/28 7:36:12

pt29django教程

文件上传 文件上传必须为POST提交方式&#xff0c; 表单<form>中文件上传时必须有带有enctype"multipart/form-data" 时才会包含文件内容数据。 表单中用<input type"file" name"xxx">标签上传文件 名字xxx对应request.FILES[xx…...

编程日记 2023/9/28 7:35:11

【操作系统笔记七】进程和线程

进程的组成 进程要读取 ELF 文件&#xff0c;那么&#xff1a; ① 要知道文件系统的信息&#xff0c;fs_struct② 要知道打开的文件的信息&#xff0c;files_struct 一个进程除了需要读取 ELF 文件外&#xff0c;还可以读取其他的文件中的数据。 进程中肯定有一个 mm_struct…...

编程日记 2023/9/28 7:34:10

Kakfa高效读写数据

1.概述 无论 kafka 作为 MQ 也好&#xff0c;作为存储层也罢&#xff0c;无非就是两个功能&#xff1a;一是 Producer 生产的数据存到 broker&#xff0c;二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了&#xff0c;本文也是从这两个方面去剖析Kafk…...

编程日记 2023/9/28 7:33:09

Vue记事本应用实现教程

文章目录 1. 项目介绍2. 开发环境准备3. 设计应用界面4. 创建Vue实例和数据模型5. 实现记事本功能5.1 添加新记事项5.2 删除记事项5.3 清空所有记事 6. 添加样式7. 功能扩展&#xff1a;显示创建时间8. 功能扩展&#xff1a;记事项搜索9. 完整代码10. Vue知识点解析10.1 数据绑…...

编程新知 2025/9/20 5:20:12

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题&#xff1a;map 的 key 可以是什么类型&#xff1f;哪些不可以&#xff1f; 在 Golang 的面试中&#xff0c;map 类型的使用是一个常见的考点&#xff0c;其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/12/20 7:42:02

微软PowerBI考试 PL300-选择 Power BI 模型框架【附练习数据】

微软PowerBI考试 PL300-选择 Power BI 模型框架 20 多年来&#xff0c;Microsoft 持续对企业商业智能 (BI) 进行大量投资。 Azure Analysis Services (AAS) 和 SQL Server Analysis Services (SSAS) 基于无数企业使用的成熟的 BI 数据建模技术。 同样的技术也是 Power BI 数据…...

编程新知 2026/1/15 5:24:50

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码&#xff0c;写上注释 当然可以&#xff01;这段代码是 Qt …...

编程新知 2025/11/29 21:00:30

UDP(Echoserver)

网络命令 Ping 命令 检测网络是否连通 使用方法: ping -c 次数 网址ping -c 3 www.baidu.comnetstat 命令 netstat 是一个用来查看网络状态的重要工具. 语法&#xff1a;netstat [选项] 功能&#xff1a;查看网络状态 常用选项&#xff1a; n 拒绝显示别名&#…...

编程新知 2026/1/15 5:45:13

将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？

Otsu 是一种自动阈值化方法&#xff0c;用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理&#xff0c;能够自动确定一个阈值&#xff0c;将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...

编程新知 2026/1/9 19:36:58

跨链模式：多链互操作架构与性能扩展方案

跨链模式&#xff1a;多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈&#xff1a;模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展&#xff08;H2Cross架构&#xff09;&#xff1a; 适配层&#xf…...

编程新知 2026/1/15 4:58:14

AI编程--插件对比分析：CodeRider、GitHub Copilot及其他

AI编程插件对比分析&#xff1a;CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展&#xff0c;AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者&#xff0c;分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...

编程新知 2026/1/8 14:58:15

MFC 抛体运动模拟：常见问题解决与界面美化

在 MFC 中开发抛体运动模拟程序时，我们常遇到 轨迹残留、无效刷新、视觉单调、物理逻辑瑕疵 等问题。本文将针对这些痛点，详细解析原因并提供解决方案，同时兼顾界面美化，让模拟效果更专业、更高效。 问题一：历史轨迹与小球残影残留 现象 小球运动后，历史位置的 “残影”…...

编程新知 2026/1/15 8:45:56

CRMEB 中 PHP 短信扩展开发：涵盖一号通、阿里云、腾讯云、创蓝

目前已有一号通短信、阿里云短信、腾讯云短信扩展 扩展入口文件 文件目录 crmeb\services\sms\Sms.php 默认驱动类型为&#xff1a;一号通 namespace crmeb\services\sms;use crmeb\basic\BaseManager; use crmeb\services\AccessTokenServeService; use crmeb\services\sms\…...

编程新知 2025/10/5 5:38:24