当前位置：首页 > news >正文

Hadoop-004-Big Data Tools插件的使用

news 2025/12/31 16:29:49

一、Big Data Tools插件配置流程

1、安装Big Data Tools插件

以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA
在这里插入图片描述

2、Windows系统基础配置

Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下

设置$HADOOP_HOME环境变量指向：D:\Develop\hadoop-3.2.4

下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下

hadoop.dll

https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe

https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

3、配置环境变量

然后再配置下环境变量
在这里插入图片描述

4、连接测试正常

在这里插入图片描述

5、操作文件

在这里插入图片描述

Hadoop-004-Big Data Tools插件的使用

一、Big Data Tools插件配置流程 1、安装Big Data Tools插件以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA 2、Windows系统基础配置 Windows系统需要做一些基础设置，配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D…...

编程日记 2024/11/2 6:28:44

linux8在线扩容/home目录

虚机新增1T磁盘 [rootrsb ~]# cat /etc/redhat-release Red Hat Enterprise Linux release 8.8 (Ootpa) [rootrsb ~]# vgs VG #PV #LV #SN Attr VSize VFree ol 2 3 0 wz--n- <2.00t 0 [rootrsb ~]# lvs LV VG Attr LSize Pool Origin Dat…...

编程日记 2024/11/2 6:27:42

【C/C++】模拟实现strcpy

学习目标： 使用代码模拟实现strcpy。逻辑： strcpy 函数的返回类型是 void 即不返回数据。strcpy 函数的参数类型是 char* ，用于接收数组。strcpy 函数要把一个数组复制到另一个数组。代码： #define _CRT_SECURE_NO_WARNINGS …...

编程日记 2024/11/2 6:25:40

网络编程番外——IO多路复用的应用说明

一、IO多路复用与多线程 IO多路复用，IO Multiplexing，其实就是在IO上进行监听处理导致线程被阻塞（如果非阻塞就必须不断的轮询，仍然是占用此线程），如果一个IO对应一个线程是不是太浪费了。而且在诸如网络I…...

编程日记 2024/11/2 6:24:39

【Java爬虫的淘宝寻宝记】—— 淘宝商品类目的“藏宝图”

引言： 在淘宝这个广袤的“商品宇宙”中，每一件商品都是一颗璀璨的星球，而商品类目就是连接这些星球的星际航道。今天，我们将派遣一位勇敢的Java爬虫宇航员，去揭开这些星际航道背后的秘密——商品类目。准备好了吗&…...

编程日记 2024/11/2 6:23:38

探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱

文章目录探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱1. 背景介绍2. 库简介3. 安装指南4. 基础函数介绍5. 实际应用场景6. 常见问题及解决方案7. 总结探索Python文档自动化的奥秘：揭开docxtpl库的神秘面纱 1. 背景介绍在日常工作中&#xf…...

编程日记 2024/11/2 6:22:37

RabbitMQ的解耦、异步、削峰是什么？

RabbitMQ在分布式系统和微服务架构中起到了重要的作用，其特性可以实现解耦、异步以及削峰，下面是对这三个概念的详细解释： 1. 解耦解耦是指使系统的不同组件间的依赖关系减少或消失。在使用RabbitMQ时，生产者（发送消…...

编程日记 2024/11/2 6:18:33

4：arm汇编语言4：bits/byte的介绍（ASCII码）与二进制补位

4.2 bits/byte的介绍与ASCII码的引入这个是详细介绍计算机内部原理的基础，bits与byte其实这两个是计算机中非常重要的单位。首先看一下bits，它是一个基础的计算机单位。计算机单位？像长度单位是米，体重的单位是kg，你…...

编程日记 2024/11/2 6:17:31

C++实现仿安卓线程Handler、Message、Looper的功能

在java开发中，习惯使用Handler、Message来处理同步，比如对相机的操作(open、setParamters、start、stop、clost)全部抛到同一个线程处理，防止并发操作导致异常，这样保留给外部的统一接口就是安全的，无论外部哪些线程来…...

编程日记 2024/11/2 6:16:30

构建安全的用户登录API：从请求验证到JWT令牌生成

构建安全的用户登录API：从请求验证到JWT令牌生成为了实现这个后端POST /api/users/login端点，我们可以使用Node.js和Express框架，并结合一些常用的库如jsonwebtoken、bcrypt和express-validator来处理验证和密码校验。下面是一个完整的示例…...

编程日记 2024/11/2 6:13:27

状态模式：封装对象状态并改变行为的设计模式

1. 引言在软件开发中，某些对象的行为会随着其内部状态的变化而变化。传统的实现方式可能需要使用大量的条件语句，导致代码复杂且难以维护。状态模式（State Pattern）提供了一种有效的方法，通过将状态行为封装在状态类…...

编程日记 2024/11/2 6:12:26

备战“双11”丨AI+物流：你的快递会有什么变化?

背景在中国，每天有数以亿计的包裹在运输，尤其在电商促销季如“双十一”、“618”期间，快递量更是激增。快递物流行业面临人员短缺、配送效率低下和物流承载能力有限等问题。快瞳科技提供的AI识别解决方案通过智能化手段提高工作效率和配送准…...

编程日记 2024/11/2 6:10:22

理解为什么要有C++设计模式

什么时设计模式？ 每一个模式描述了一个在我们周围不断重复的问题以及该问题的解决方案的核心，这样，就能一次有一次地使用该方案，而不必做重复劳动。如何解决复杂性？ 分解：人们面对复杂性有一个常见的做法…...

编程日记 2024/11/2 6:09:20

模式匹配类型

一、匹配常量在scala中，模式匹配可以匹配所有的字面量，包括字符串，字符，数字，布尔值等等 def describeConst(x:Any):String x match {case "str" > "匹配字符串"case > "匹配字符&…...

编程日记 2024/11/2 6:08:19

每天10个vue面试题(七)

1、Vue如何监听页面url中hash变化？ 监听 $route 的变化：在Vue中，你可以使用watch属性来监听$route的变化。当路由发生变化时，会执行相应的处理函数。使用 window.location.hash：直接读取window.location.hash的值。这…...

编程日记 2024/11/2 6:07:18

如何在Linux系统中使用Apache HTTP Server

如何在Linux系统中使用Apache HTTP Server Apache简介安装Apache 在Debian/Ubuntu系统中安装在CentOS/RHEL系统中安装启动Apache服务验证Apache是否正在运行访问Apache默认页面配置Apache虚拟主机创建虚拟主机配置文件示例虚拟主机配置创建网站根目录准备静态网站内…...

编程日记 2024/11/2 6:06:18

C++基于opencv的视频质量检测--画面冻结检测

文章目录 0.引言1. 原始代码分析2. 优化方案3. 优化后的代码4. 代码详细解读 0.引言视频质量画面冻结检测已在C基于opencv4的视频质量检测中有所介绍，本文将详细介绍其优化版本。 1. 原始代码分析图像抖动检测的原始代码： bool ScreenFreezeDetect…...

编程日记 2024/11/2 6:05:16

Day22 opencv图像预处理

图像预处理在计算机视觉和图像处理领域，图像预处理是一个重要的步骤，它能够提高后续处理（如特征提取、目标检测等）的准确性和效率。OpenCV 提供了许多图像预处理的函数和方法，常见的操作包括图像空间转换、图像大小调…...

编程日记 2024/11/2 6:04:15

QT中的定时器与计时器

目录 QTimer QTimer 的替代方案 API QElapsedTimer API 笔者写Qt的时候经常遇到需要定时完成任务的情况。举个例子：我写串口通信程序的时候需要定时向下位机发送数据。或者是定时任务周期性出发（更新时间等） 在Qt中，有两个非…...

编程日记 2024/11/2 6:03:15

国内AI大模型学习平台

据不完全统计，目前，国内有几大AI大模型学习平台可供选择： 1.昇思大模型平台：这是一个集算法选型、创意分享、模型实验和大模型在线体验于一体的AI学习与实践社区。 2.魔搭社区：提供AI模型、数据集和应用的开发与探索平…...

编程日记 2024/11/2 6:02:14

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写，中文译为后进先出。这是一种数据结构的工作原则，类似于一摞盘子或一叠书本： 最后放进去的元素最先出来 -想象往筒状容器里放盘子： （1）你放进的最后一个盘子&#xff08…...

编程新知 2025/12/30 19:40:49

使用VSCode开发Django指南

使用VSCode开发Django指南一、概述 Django 是一个高级 Python 框架，专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。本文将创建一个简单的 Django 应用，其中包含三个使用通用基本模板的页面。在此…...

编程新知 2025/12/25 2:11:21

《Qt C++ 与 OpenCV：解锁视频播放程序设计的奥秘》

引言：探索视频播放程序设计之旅在当今数字化时代，多媒体应用已渗透到我们生活的方方面面，从日常的视频娱乐到专业的视频监控、视频会议系统，视频播放程序作为多媒体应用的核心组成部分，扮演着至关重要的角色。无论是在个人电脑、移动设备还是智能电视等平台上，用户都期望…...

编程新知 2025/12/24 9:59:28

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用一、背景与挑战大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...

编程新知 2025/12/26 0:05:09

GitHub 趋势日报 (2025年06月08日)

📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

编程新知 2025/12/13 1:32:15

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败网络不同，需要使用镜像源按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/12/31 6:28:08

多模态大语言模型arxiv论文略读（108）

CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题：CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者：Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...

编程新知 2025/12/15 1:06:25