当前位置：首页 > news >正文

把本地文件上传到HDFS上操作步骤

news 2026/2/11 4:33:46

因为条件有限，我这里以虚拟机centos为例
实验条件：我在虚拟机上创建了三台节点，部署了hadoop，把笔记本上的数据上传到hdfs中

数据打包上传到虚拟机节点上
采用的是rz命令，可以帮我们上传数据
没有的话可以使用命令安装yum install lrzsz

[root@node04 0007]# rz

解压
没有解压命令可以安装yum install unzip

[root@node04 data]# unzip 0007.zip

启动hads服务

[root@node04 data]# start-dfs.sh

[root@node04 data]# hadoop dfs -ls /

hadoop dfs -mkdir /data

把数据放到hdfs中

hadoop dfs -put /opt/data/0007/ /data/

查看结果
存放成功

把本地文件上传到HDFS上操作步骤

因为条件有限，我这里以虚拟机centos为例实验条件：我在虚拟机上创建了三台节点，部署了hadoop，把笔记本上的数据上传到hdfs中数据打包上传到虚拟机节点上采用的是rz命令，可以帮我们上传数据没有的话可以使用命令安装…...

编程日记 2024/3/28 13:26:11

Leo赠书活动-21期《一篇讲明白 Hadoop 生态的三大部件》

✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉 🍎个人主页：Leo的博客 💞当前专栏： 赠书活动专栏 ✨特色专栏：…...

编程日记 2024/3/28 13:21:05

【Redis】Redis 介绍Redis 为什么这么快？Redis数据结构Redis 和Memcache区别？为何Redis单线程效率也高？

目录 Redis 介绍 Redis 为什么这么快？ Redis数据结构 Redis 和Memcache区别 ？ 为何Redis单线程效率也高？ Redis 介绍 Redis 是一个开源（BSD 许可）、基于内存、支持多种数据结构的存储系统，可以作为数据…...

编程日记 2024/3/28 13:20:04

ArrayList和LinkedList有什么区别？

ArrayList和LinkedList的区别 ArrayList 和 LinkedList 是 Java 中常用的两种集合类，它们都实现了 List 接口，但在内部实现和性能上有一些区别。内部实现： ArrayList 使用数组实现，它的元素在内存中是连续存储的，每…...

编程日记 2024/3/28 13:19:02

离线数仓（八）【DWD 层开发】

前言 1、DWD 层开发 DWD层设计要点： （1）DWD层的设计依据是维度建模理论（主体是事务型事实表（选择业务过程 -> 声明粒度 -> 确定维度 -> 确定事实），另外两种周期型快照事实表和累积型…...

编程日记 2024/3/28 13:18:01

Jenkins用户角色权限管理

Jenkins作为一款强大的自动化构建与持续集成工具，用户角色权限管理是其功能体系中不可或缺的一环。有效的权限管理能确保项目的安全稳定，避免敏感信息泄露。 1、安装插件：Role-based Authorization Strategy 系统管理 > 插件管理 > 可…...

编程日记 2024/3/28 13:15:59

简明conan教程 1 关于conan1.1 来源1.2 作用 2 安装conan2.1 ubuntu2.1.1 安装python32.1.2 安装conan 2.2 Windows2.2.1 安装python32.2.2 安装conan 2.3 验证conan是否成功2.4 命令解释2.4.1 Consumer commands2.4.2 Creator commands2.4.3 Package development commands2.4.…...

编程日记 2024/3/28 13:13:55

LeetCode刷题--- 等差数列划分 II - 子序列

个人主页：元清加油_【C】,【C语言】,【数据结构与算法】-CSDN博客个人专栏力扣递归题 http://t.csdnimg.cn/yUl2I 【C】 http://t.csdnimg.cn/6AbpV 数据结构 http://t.csdnimg.cn/hKh2l 前言：这个专栏主要讲述动态规划算…...

编程日记 2024/3/28 13:11:53

kubectl 启用shell自动补全功能

官网手册参考：https://kubernetes.io/zh-cn/docs/tasks/tools/install-kubectl-linux/ 系统：centos7 补全脚本依赖于工具 bash-completion， 所以要先安装它（可以用命令 type _init_completion 检查 bash-completion 是否已安装&a…...

编程日记 2024/3/28 13:10:52

极简wordpress网站模板

Pithy设计师wordpress网站模板精练简洁的wordpress模板，设计师或设计工作室展示型网站模板。 https://www.jianzhanpress.com/?p6329...

编程日记 2024/3/28 13:09:50

【python】(16)python的字典dict按照key或value排序的不同方法

系列文章回顾【python】(01)初识装饰器Decorator 【python】(02)初识迭代器Iterator 【python】(03)初识生成器Generator 【python】(04)python中实现多任务并发和并行的区别【python】(05)如何使用python中的logging模块记录日志信息【python】(06)理解Python中的 lambda 、…...

编程日记 2024/3/28 13:06:47

微服务篇-C 深入理解第一代微服务（SpringCloud）_VI 深入理解Zuul服务网关

编程日记 2024/3/28 13:03:44

web CSS笔记1

CSS(Cascading Style Sheets) 美化样式 CSS通常称为CSS样式表或层叠样式表（级联样式表），主要用于设置HTML页面中的文本内容（字体、大小、对齐方式等）、图片的外形（宽高、边框样式、边距等）以及…...

编程日记 2024/3/28 13:01:42

js算法记录

> 更多请前往 https://www.passerma.com/article/86 滑动窗口 1 给定一个矩阵，包含N*M个整数，和一个包含K个整数的数组。现在要求在这个矩阵中找一个宽度最小的子矩阵，要求子矩阵包含数组中所有的整数 function minSubmatrixWidth(mat…...

编程日记 2024/3/28 12:54:33

球面数据的几何深度学习--球形 CNN

目录一、说明二、球形 CNN概述三、球面数据的对称性四、标准（平面）CNN的局限性五、卷积并发症六、球面卷积七、球面卷积是不够的一、说明球面数据的几何深度学习–球形 CNN。通过对物理世界的平移对称性进行编码，卷积神经网络 &#xff0…...

编程日记 2024/3/28 12:50:29

MySQL学习笔记------SQL(1)

关系型数据库（RDBMS） 建立在关系模型基础上，由多张相互连接的二维表组成的数据库特点：使用表储存数据，格式统一，便于维护使用SQL语言操作，标准统一，使用方便 SQL通用语法 SQL…...

编程日记 2024/3/28 12:49:28

PMP能提前查成绩？还能改分数？别太离谱！

震惊！3月10日PMP考试才结束没多久，昨天就有学员收到了查分邮件，寄信人自称自己是内部人员，可以提前查询到成绩并直接修改成绩。这也太离谱了吧！在此，小赛想说，PMP考试是一个公正、严格的考试体…...

编程日记 2024/3/28 12:48:27

【保姆级讲解服务器硬件的基础知识】

服务器硬件基础知识 1. 前言2. 中央处理器（CPU）3. 内存（RAM）4. 存储设备5. 主板6. 电源供应单元（PSU）7. 冷却系统8. 网络连接9. 扩展插槽和端口10. 管理功能 🌈🌈🌈&…...

编程日记 2024/3/28 12:44:23

并查集---力扣547省份的数量

假设：有一群小混混打架，小弟们可能互相不认识，如果要确定他们是一伙的，就需要确定他们的组长是不是一个，但是每个组长的领导可能又不一样，所以要找到最大的那个领导，才能确定是一伙的。我们先…...

编程日记 2024/3/28 12:39:17

stm32启动文件里面的__main和主函数main()

一、__main和main()之间的关系先来对stm32启动过程简单学习启动文件里面的Reset_Handler： 调用过程： stm32在启动后先进入重启中断函数Reset_Handler，其中会先后调用SystemInit和__main函数， __main函数属于c库函数&…...

编程日记 2024/3/28 12:38:16

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...

编程新知 2026/2/10 23:40:34

MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例

一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下：隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...

编程新知 2025/9/16 21:01:58

FFmpeg 低延迟同屏方案

引言在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...

编程新知 2025/11/4 6:26:59

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码，写上注释当然可以！这段代码是 Qt …...

编程新知 2025/11/29 21:00:30

UE5 学习系列（三）创建和移动物体

这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

编程新知 2026/1/24 10:00:31

《基于Apache Flink的流处理》笔记

思维导图 1-3 章 4-7章 8-11 章参考资料源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...

编程新知 2026/1/31 14:55:53

前端开发面试题总结-JavaScript篇(一)

文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包（Closure）？闭包有什么应用场景和潜在问题？2.解释 JavaScript 的作用域链（Scope Chain） 二、原型与继承3.原型链是什么？如何实现继承&a…...

编程新知 2026/2/1 3:12:03

AI书签管理工具开发全记录（十九）：嵌入资源处理

1.前言 📝 在上一篇文章中，我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源，方便后续将资源打包到一个可执行文件中。 2.embed介绍 🎯 Go 1.16 引入了革命性的 embed 包，彻底改变了静态资源管理的…...

编程新知 2026/1/30 16:24:23

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2026/2/8 21:57:26

【Nginx】使用 Nginx+Lua 实现基于 IP 的访问频率限制

使用 NginxLua 实现基于 IP 的访问频率限制在高并发场景下，限制某个 IP 的访问频率是非常重要的，可以有效防止恶意攻击或错误配置导致的服务宕机。以下是一个详细的实现方案，使用 Nginx 和 Lua 脚本结合 Redis 来实现基于 IP 的访问频率限制…...

编程新知 2025/10/22 6:06:44

相关文章：