当前位置： 首页 > news >正文

Hadoop-004-Big Data Tools插件的使用

news 2026/4/2 8:02:17

一、Big Data Tools插件配置流程

1、安装Big Data Tools插件

以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA
在这里插入图片描述

2、Windows系统基础配置

Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下

设置$HADOOP_HOME环境变量指向：D:\Develop\hadoop-3.2.4

下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下

hadoop.dll

https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe

https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

3、配置环境变量

然后再配置下环境变量
在这里插入图片描述

4、连接测试正常

在这里插入图片描述

5、操作文件

在这里插入图片描述

相关文章：

Hadoop-004-Big Data Tools插件的使用

一、Big Data Tools插件配置流程 1、安装Big Data Tools插件 以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA 2、Windows系统基础配置 Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D…...

编程日记 2024/11/2 6:28:44

linux8在线扩容/home目录

虚机新增1T磁盘 [rootrsb ~]# cat /etc/redhat-release Red Hat Enterprise Linux release 8.8 (Ootpa) [rootrsb ~]# vgs VG #PV #LV #SN Attr VSize VFree ol 2 3 0 wz--n- <2.00t 0 [rootrsb ~]# lvs LV VG Attr LSize Pool Origin Dat…...

编程日记 2024/11/2 6:27:42

【C/C++】模拟实现strcpy

学习目标&#xff1a; 使用代码模拟实现strcpy。 逻辑&#xff1a; strcpy 函数的返回类型是 void 即不返回数据。strcpy 函数的参数类型是 char* &#xff0c;用于接收数组。strcpy 函数要把一个数组复制到另一个数组。 代码&#xff1a; #define _CRT_SECURE_NO_WARNINGS …...

编程日记 2024/11/2 6:25:40

网络编程番外——IO多路复用的应用说明

一、IO多路复用与多线程 IO多路复用&#xff0c;IO Multiplexing&#xff0c;其实就是在IO上进行监听处理导致线程被阻塞&#xff08;如果非阻塞就必须不断的轮询&#xff0c;仍然是占用此线程&#xff09;&#xff0c;如果一个IO对应一个线程是不是太浪费了。而且在诸如网络I…...

编程日记 2024/11/2 6:24:39

【Java爬虫的淘宝寻宝记】—— 淘宝商品类目的“藏宝图”

引言&#xff1a; 在淘宝这个广袤的“商品宇宙”中&#xff0c;每一件商品都是一颗璀璨的星球&#xff0c;而商品类目就是连接这些星球的星际航道。今天&#xff0c;我们将派遣一位勇敢的Java爬虫宇航员&#xff0c;去揭开这些星际航道背后的秘密——商品类目。准备好了吗&…...

编程日记 2024/11/2 6:23:38

探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱

文章目录 探索Python文档自动化的奥秘&#xff1a;揭开docxtpl库的神秘面纱1. 背景介绍2. 库简介3. 安装指南4. 基础函数介绍5. 实际应用场景6. 常见问题及解决方案7. 总结 探索Python文档自动化的奥秘&#xff1a;揭开docxtpl库的神秘面纱 1. 背景介绍 在日常工作中&#xf…...

编程日记 2024/11/2 6:22:37

RabbitMQ的解耦、异步、削峰是什么？

RabbitMQ在分布式系统和微服务架构中起到了重要的作用&#xff0c;其特性可以实现解耦、异步以及削峰&#xff0c;下面是对这三个概念的详细解释&#xff1a; 1. 解耦 解耦是指使系统的不同组件间的依赖关系减少或消失。在使用RabbitMQ时&#xff0c;生产者&#xff08;发送消…...

编程日记 2024/11/2 6:18:33

4：arm汇编语言4：bits/byte的介绍（ASCII码）与二进制补位

4.2 bits/byte的介绍与ASCII码的引入 这个是详细介绍计算机内部原理的基础&#xff0c;bits与byte其实这两个是计算机中非常重要的单位。首先看一下bits&#xff0c;它是一个基础的计算机单位。计算机单位&#xff1f;像长度单位是米&#xff0c;体重的单位是kg&#xff0c;你…...

编程日记 2024/11/2 6:17:31

C++实现仿安卓线程Handler、Message、Looper的功能

在java开发中&#xff0c;习惯使用Handler、Message来处理同步&#xff0c;比如对相机的操作(open、setParamters、start、stop、clost)全部抛到同一个线程处理&#xff0c;防止并发操作导致异常&#xff0c;这样保留给外部的统一接口就是安全的&#xff0c;无论外部哪些线程来…...

编程日记 2024/11/2 6:16:30

构建安全的用户登录API：从请求验证到JWT令牌生成

构建安全的用户登录API&#xff1a;从请求验证到JWT令牌生成 为了实现这个后端POST /api/users/login端点&#xff0c;我们可以使用Node.js和Express框架&#xff0c;并结合一些常用的库如jsonwebtoken、bcrypt和express-validator来处理验证和密码校验。下面是一个完整的示例…...

编程日记 2024/11/2 6:13:27

状态模式：封装对象状态并改变行为的设计模式

1. 引言 在软件开发中&#xff0c;某些对象的行为会随着其内部状态的变化而变化。传统的实现方式可能需要使用大量的条件语句&#xff0c;导致代码复杂且难以维护。状态模式&#xff08;State Pattern&#xff09;提供了一种有效的方法&#xff0c;通过将状态行为封装在状态类…...

编程日记 2024/11/2 6:12:26

备战“双11”丨AI+物流：你的快递会有什么变化?

背景 在中国&#xff0c;每天有数以亿计的包裹在运输&#xff0c;尤其在电商促销季如“双十一”、“618”期间&#xff0c;快递量更是激增。快递物流行业面临人员短缺、配送效率低下和物流承载能力有限等问题。快瞳科技提供的AI识别解决方案通过智能化手段提高工作效率和配送准…...

编程日记 2024/11/2 6:10:22

理解为什么要有C++设计模式

什么时设计模式&#xff1f; 每一个模式描述了一个在我们周围不断重复的问题以及该问题的解决方案的核心&#xff0c;这样&#xff0c;就能一次有一次地使用该方案&#xff0c;而不必做重复劳动。 如何解决复杂性&#xff1f; 分解&#xff1a;人们面对复杂性有一个常见的做法…...

编程日记 2024/11/2 6:09:20

模式匹配类型

一、匹配常量 在scala中&#xff0c;模式匹配可以匹配所有的字面量&#xff0c;包括字符串&#xff0c;字符&#xff0c;数字&#xff0c;布尔值等等 def describeConst(x:Any):String x match {case "str" > "匹配字符串"case > "匹配字符&…...

编程日记 2024/11/2 6:08:19

每天10个vue面试题(七)

1、Vue如何监听页面url中hash变化&#xff1f; 监听 $route 的变化&#xff1a;在Vue中&#xff0c;你可以使用watch属性来监听$route的变化。当路由发生变化时&#xff0c;会执行相应的处理函数。使用 window.location.hash&#xff1a;直接读取window.location.hash的值。这…...

编程日记 2024/11/2 6:07:18

如何在Linux系统中使用Apache HTTP Server

如何在Linux系统中使用Apache HTTP Server Apache简介 安装Apache 在Debian/Ubuntu系统中安装 在CentOS/RHEL系统中安装 启动Apache服务 验证Apache是否正在运行 访问Apache默认页面 配置Apache虚拟主机 创建虚拟主机配置文件 示例虚拟主机配置 创建网站根目录 准备静态网站内…...

编程日记 2024/11/2 6:06:18

C++基于opencv的视频质量检测--画面冻结检测

文章目录 0.引言1. 原始代码分析2. 优化方案3. 优化后的代码4. 代码详细解读 0.引言 视频质量画面冻结检测已在C基于opencv4的视频质量检测中有所介绍&#xff0c;本文将详细介绍其优化版本。 1. 原始代码分析 图像抖动检测的原始代码&#xff1a; bool ScreenFreezeDetect…...

编程日记 2024/11/2 6:05:16

Day22 opencv图像预处理

图像预处理 在计算机视觉和图像处理领域&#xff0c;图像预处理是一个重要的步骤&#xff0c;它能够提高后续处理&#xff08;如特征提取、目标检测等&#xff09;的准确性和效率。OpenCV 提供了许多图像预处理的函数和方法&#xff0c;常见的操作包括图像空间转换、图像大小调…...

编程日记 2024/11/2 6:04:15

QT中的定时器与计时器

目录 QTimer QTimer 的替代方案 API QElapsedTimer API 笔者写Qt的时候经常遇到需要定时完成任务的情况。举个例子&#xff1a;我写串口通信程序的时候需要定时向下位机发送数据。或者是定时任务周期性出发&#xff08;更新时间等&#xff09; 在Qt中&#xff0c;有两个非…...

编程日记 2024/11/2 6:03:15

国内AI大模型学习平台

据不完全统计&#xff0c;目前&#xff0c;国内有几大AI大模型学习平台可供选择&#xff1a; 1.昇思大模型平台&#xff1a;这是一个集算法选型、创意分享、模型实验和大模型在线体验于一体的AI学习与实践社区。 2.魔搭社区&#xff1a;提供AI模型、数据集和应用的开发与探索平…...

编程日记 2024/11/2 6:02:14

Qwen3-VL-2B实战：快速搭建一个能“看懂”图片的智能聊天机器人

Qwen3-VL-2B实战&#xff1a;快速搭建一个能"看懂"图片的智能聊天机器人 1. 项目介绍与核心能力 1.1 什么是视觉语言模型 视觉语言模型&#xff08;Vision-Language Model&#xff09;是一种能够同时理解图像和文本的AI技术。不同于传统聊天机器人只能处理文字&am…...

编程新知 2026/4/2 7:29:10

千问3.5-2B参数详解教程：max_new_tokens=192与temperature=0.7如何影响图文理解质量

千问3.5-2B参数详解教程&#xff1a;max_new_tokens192与temperature0.7如何影响图文理解质量 1. 认识千问3.5-2B视觉语言模型 千问3.5-2B是Qwen系列中的小型视觉语言模型&#xff0c;它能够同时理解图片内容和生成文本回答。这个模型特别适合需要结合视觉和语言理解的任务场…...

编程新知 2026/4/2 7:15:03

YEDDA中文文本标注工具：零基础快速上手的高效标注解决方案

YEDDA中文文本标注工具&#xff1a;零基础快速上手的高效标注解决方案 【免费下载链接】yedda-py3 项目地址: https://gitcode.com/gh_mirrors/ye/yedda-py3 在人工智能和自然语言处理领域&#xff0c;数据标注是构建高质量模型的基础。YEDDA中文文本标注工具是一款专为…...

编程新知 2026/4/2 7:13:03

Graphormer高性能部署：PyTorch 2.8.0 + Torch-Geometric 2.4优化实践

Graphormer高性能部署&#xff1a;PyTorch 2.8.0 Torch-Geometric 2.4优化实践 1. 引言 Graphormer是一种基于纯Transformer架构的图神经网络&#xff0c;专为分子属性预测任务设计。与传统的图神经网络(GNN)相比&#xff0c;Graphormer通过全局注意力机制直接建模分子图中原…...

编程新知 2026/4/2 7:00:51

HunyuanVideo-Foley性能测试指南：在RTX 4090D上的推理速度与显存占用

HunyuanVideo-Foley性能测试指南&#xff1a;在RTX 4090D上的推理速度与显存占用 1. 前言&#xff1a;为什么需要性能测试 音效生成模型在实际业务场景中的表现&#xff0c;直接影响着用户体验和系统成本。对于企业用户来说&#xff0c;了解模型在特定硬件上的性能表现至关重…...

编程新知 2026/4/2 6:12:26

3个极简功能让时间管理者实现高效时间规划：Catime计时器全场景应用指南

3个极简功能让时间管理者实现高效时间规划&#xff1a;Catime计时器全场景应用指南 【免费下载链接】Catime A tiny (995KB) but mighty timer in pure C. Supports clock, countdown, stopwatch, Pomodoro, and fully customizable tray animations (GIFs, CPU/Mem%)&#x1f…...

编程新知 2026/4/2 6:02:06

Youtu-VL-4B-Instruct效果展示：高清OCR+精准Box定位+多轮图文对话作品集

Youtu-VL-4B-Instruct效果展示&#xff1a;高清OCR精准Box定位多轮图文对话作品集 1. 引言&#xff1a;当“看图说话”进化成“看图办事” 你有没有遇到过这种情况&#xff1f;看到一张复杂的图表&#xff0c;想快速提取里面的数据&#xff0c;却要手动一个个去数&#xff1b…...

编程新知 2026/4/2 4:57:37

Git误操作急救手册（1）：为什么我们需要一本Git急救手册？——理解版本控制的‘事故现场’

Git误操作急救手册（1）：为什么我们需要一本Git急救手册？——理解版本控制的‘事故现场’ 上周三凌晨两点，我盯着终端里那行 git push --force 的历史记录，后背一阵发凉。 屏幕上的红色错误提示像急诊室的监护仪在闪烁——远程分支已经和本地彻底分道扬镳，三个同事当天提交…...

编程新知 2026/4/2 4:25:18

JDK 17 + Spring Boot 3.5.8:企业级开发技术栈全景分析

JDK 17与Spring Boot 3.5.8的核心特性JDK 17 LTS特性 JDK 17作为长期支持版本&#xff08;LTS&#xff09;&#xff0c;提供多项生产级增强&#xff1a;密封类&#xff08;Sealed Classes&#xff09;&#xff1a;通过sealed和permits关键字限制类的继承关系&#xff0c;增强领…...

编程新知 2026/4/2 3:56:59

极验点选验证码识别避坑指南：如何应对验证码图片更新带来的挑战

极验点选验证码动态对抗实战&#xff1a;从数据迭代到模型优化的全链路解决方案 当你的验证码识别模型突然失效时&#xff0c;第一反应是什么&#xff1f;上个月刚跑通的极验点选验证码识别系统&#xff0c;在验证码图片更新后准确率从92%暴跌至17%&#xff0c;这是我们团队最近…...

编程新知 2026/4/2 3:46:27