Hadoop-004-Big Data Tools插件的使用
一、Big Data Tools插件配置流程
1、安装Big Data Tools插件
以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA
2、Windows系统基础配置
Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下
设置$HADOOP_HOME环境变量指向：D:\Develop\hadoop-3.2.4
下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下
hadoop.dll
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll
winutils.exe
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe
3、配置环境变量
然后再配置下环境变量
4、连接测试正常
5、操作文件
相关文章：
Hadoop-004-Big Data Tools插件的使用
一、Big Data Tools插件配置流程 1、安装Big Data Tools插件 以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA 2、Windows系统基础配置 Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D…...
linux8在线扩容/home目录
虚机新增1T磁盘 [rootrsb ~]# cat /etc/redhat-release Red Hat Enterprise Linux release 8.8 (Ootpa) [rootrsb ~]# vgs VG #PV #LV #SN Attr VSize VFree ol 2 3 0 wz--n- <2.00t 0 [rootrsb ~]# lvs LV VG Attr LSize Pool Origin Dat…...
【C/C++】模拟实现strcpy
学习目标： 使用代码模拟实现strcpy。 逻辑： strcpy 函数的返回类型是 void 即不返回数据。strcpy 函数的参数类型是 char* ，用于接收数组。strcpy 函数要把一个数组复制到另一个数组。 代码： #define _CRT_SECURE_NO_WARNINGS …...
网络编程番外——IO多路复用的应用说明
一、IO多路复用与多线程 IO多路复用，IO Multiplexing，其实就是在IO上进行监听处理导致线程被阻塞（如果非阻塞就必须不断的轮询，仍然是占用此线程），如果一个IO对应一个线程是不是太浪费了。而且在诸如网络I…...
【Java爬虫的淘宝寻宝记】—— 淘宝商品类目的“藏宝图”
引言： 在淘宝这个广袤的“商品宇宙”中，每一件商品都是一颗璀璨的星球，而商品类目就是连接这些星球的星际航道。今天，我们将派遣一位勇敢的Java爬虫宇航员，去揭开这些星际航道背后的秘密——商品类目。准备好了吗&…...
探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱
文章目录 探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱1. 背景介绍2. 库简介3. 安装指南4. 基础函数介绍5. 实际应用场景6. 常见问题及解决方案7. 总结 探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱 1. 背景介绍 在日常工作中…...
RabbitMQ的解耦、异步、削峰是什么？
RabbitMQ在分布式系统和微服务架构中起到了重要的作用，其特性可以实现解耦、异步以及削峰，下面是对这三个概念的详细解释： 1. 解耦 解耦是指使系统的不同组件间的依赖关系减少或消失。在使用RabbitMQ时，生产者（发送消…...
4：arm汇编语言4：bits/byte的介绍（ASCII码）与二进制补位
4.2 bits/byte的介绍与ASCII码的引入 这个是详细介绍计算机内部原理的基础，bits与byte其实这两个是计算机中非常重要的单位。首先看一下bits，它是一个基础的计算机单位。计算机单位？像长度单位是米，体重的单位是kg，你…...
C++实现仿安卓线程Handler、Message、Looper的功能
在java开发中，习惯使用Handler、Message来处理同步，比如对相机的操作(open、setParamters、start、stop、clost)全部抛到同一个线程处理，防止并发操作导致异常，这样保留给外部的统一接口就是安全的，无论外部哪些线程来…...
构建安全的用户登录API：从请求验证到JWT令牌生成
构建安全的用户登录API：从请求验证到JWT令牌生成 为了实现这个后端POST /api/users/login端点，我们可以使用Node.js和Express框架，并结合一些常用的库如jsonwebtoken、bcrypt和express-validator来处理验证和密码校验。下面是一个完整的示例…...
状态模式：封装对象状态并改变行为的设计模式
1. 引言 在软件开发中，某些对象的行为会随着其内部状态的变化而变化。传统的实现方式可能需要使用大量的条件语句，导致代码复杂且难以维护。状态模式（State Pattern）提供了一种有效的方法，通过将状态行为封装在状态类…...
备战“双11”丨AI+物流：你的快递会有什么变化?
背景 在中国，每天有数以亿计的包裹在运输，尤其在电商促销季如“双十一”、“618”期间，快递量更是激增。快递物流行业面临人员短缺、配送效率低下和物流承载能力有限等问题。快瞳科技提供的AI识别解决方案通过智能化手段提高工作效率和配送准…...
理解为什么要有C++设计模式
什么时设计模式？ 每一个模式描述了一个在我们周围不断重复的问题以及该问题的解决方案的核心，这样，就能一次有一次地使用该方案，而不必做重复劳动。 如何解决复杂性？ 分解：人们面对复杂性有一个常见的做法…...
模式匹配类型
一、匹配常量 在scala中，模式匹配可以匹配所有的字面量，包括字符串，字符，数字，布尔值等等 def describeConst(x:Any):String x match {case "str" > "匹配字符串"case > "匹配字符&…...
)
每天10个vue面试题(七)
1、Vue如何监听页面url中hash变化？ 监听 $route 的变化：在Vue中，你可以使用watch属性来监听$route的变化。当路由发生变化时，会执行相应的处理函数。使用 window.location.hash：直接读取window.location.hash的值。这…...
如何在Linux系统中使用Apache HTTP Server
如何在Linux系统中使用Apache HTTP Server Apache简介 安装Apache 在Debian/Ubuntu系统中安装 在CentOS/RHEL系统中安装 启动Apache服务 验证Apache是否正在运行 访问Apache默认页面 配置Apache虚拟主机 创建虚拟主机配置文件 示例虚拟主机配置 创建网站根目录 准备静态网站内…...
C++基于opencv的视频质量检测--画面冻结检测
文章目录 0.引言1. 原始代码分析2. 优化方案3. 优化后的代码4. 代码详细解读 0.引言 视频质量画面冻结检测已在C基于opencv4的视频质量检测中有所介绍，本文将详细介绍其优化版本。 1. 原始代码分析 图像抖动检测的原始代码： bool ScreenFreezeDetect…...
Day22 opencv图像预处理
图像预处理 在计算机视觉和图像处理领域，图像预处理是一个重要的步骤，它能够提高后续处理（如特征提取、目标检测等）的准确性和效率。OpenCV 提供了许多图像预处理的函数和方法，常见的操作包括图像空间转换、图像大小调…...
QT中的定时器与计时器
目录 QTimer QTimer 的替代方案 API QElapsedTimer API 笔者写Qt的时候经常遇到需要定时完成任务的情况。举个例子：我写串口通信程序的时候需要定时向下位机发送数据。或者是定时任务周期性出发（更新时间等） 在Qt中，有两个非…...
国内AI大模型学习平台
据不完全统计，目前，国内有几大AI大模型学习平台可供选择： 1.昇思大模型平台：这是一个集算法选型、创意分享、模型实验和大模型在线体验于一体的AI学习与实践社区。 2.魔搭社区：提供AI模型、数据集和应用的开发与探索平…...
【Java学习笔记】Arrays类
Arrays 类 1. 导入包：import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序（自然排序和定制排序）Arrays.binarySearch()通过二分搜索法进行查找（前提：数组是…...
HBuilderX安装（uni-app和小程序开发）
下载HBuilderX 访问官方网站：https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本： Windows版（推荐下载标准版） Windows系统安装步骤 运行安装程序： 双击下载的.exe安装文件 如果出现安全提示&…...
让AI看见世界：MCP协议与服务器的工作原理
让AI看见世界：MCP协议与服务器的工作原理 MCP（Model Context Protocol）是一种创新的通信协议，旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天，MCP正成为连接AI与现实世界的重要桥梁。…...
如何在最短时间内提升打ctf（web)的水平？
刚刚刷完2遍 bugku 的 web 题，前来答题。 每个人对刷题理解是不同，有的人是看了writeup就等于刷了，有的人是收藏了writeup就等于刷了，有的人是跟着writeup做了一遍就等于刷了，还有的人是独立思考做了一遍就等于刷了。…...
Java多线程实现之Thread类深度解析
Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...
Python 包管理器 uv 介绍
Python 包管理器 uv 全面介绍 uv 是由 Astral（热门工具 Ruff 的开发者）推出的下一代高性能 Python 包管理器和构建工具，用 Rust 编写。它旨在解决传统工具（如 pip、virtualenv、pip-tools）的性能瓶颈，同时…...
安宝特案例丨Vuzix AR智能眼镜集成专业软件，助力卢森堡医院药房转型，赢得辉瑞创新奖
在Vuzix M400 AR智能眼镜的助力下，卢森堡罗伯特舒曼医院（the Robert Schuman Hospitals, HRS）凭借在无菌制剂生产流程中引入增强现实技术（AR）创新项目，荣获了2024年6月7日由卢森堡医院药剂师协会࿰…...
【MATLAB代码】基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），附源代码|订阅专栏后可直接查看
文章所述的代码实现了基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），针对传感器观测数据中存在的脉冲型异常噪声问题，通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现，验证了后者在状态估计鲁棒性方面的显著优…...
MySQL 部分重点知识篇
一、数据库对象 1. 主键 定义 ：主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 ：确保数据的完整性，便于数据的查询和管理。 示例 ：在学生信息表中，学号可以作为主键ÿ…...
R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中，科研绘图是必不可少的，一张好看的图形会是文章很大的加分项。 为了便于使用，本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中，获取方式： R 语言科研绘图模板 --- sciRplothttps://mp.…...