当前位置： 首页 > news >正文

HDFS基本操作命令

news 文章来源：https://blog.csdn.net/weixin_49750432/article/details/131892371 2025/5/25 13:01:29

这里写目录标题

  • HDFS Shell CLI客户端
    • 说明
    • 常用命令
      • hadoop fs -mkdir [-p] <path>
      • hadoop fs -ls [-h] [-R] [<path>...]
      • 上传文件到指定目录下
        • 方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>
        • 方法二：hadoop fs -moveFromLocal <localsrc>....<dst>
      • 查看HDFS文件内容
        • 方法一：hadoop fs -cat <src> ...
        • 方法二：hadoop fs -head <file>
        • 方法三：hadoop fs -tail [-f] <file>
      • 下载文件
        • 方法一：hadoop fs -get [-f] [-p] <src>...<localdst>
        • 方法二：合并下载hdfs文件
      • 拷贝文件
      • 追加数据到hdfs文件中
      • 查看hdfs磁盘空间
      • 查看hdfs文件使用的空间
      • hdfs数据移动操作
      • 修改hdfs文件副本个数

HDFS Shell CLI客户端

说明

  • hdfs shell cli支持操作多种文件系统，包括本地文件系统(file:///),分布式文件系统(hdfs:nn:8020)等
  • 操作的是什么文件系统取决于URL种的前缀协议
  • 如果没有指定前缀，则将会读取环境变量汇总的fs.defaultFS属性，以该属性作为默认文件系统
    • hdfs dfs -ls file:/// #操作本地文件系统
    • hdfs dfs -ls hdfs://node1:8020/ #草足hdfs分布式文件系统
    • hdfs dfs -ls / #直接根目录，没有指定协议，将夹在读取fs.default FS
      在这里插入图片描述

常用命令

hadoop fs -mkdir [-p]

path 为待创建的目录
-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录
在这里插入图片描述

hadoop fs -ls [-h] [-R] [ …]

path 指定目录路径
-h显示文件size
-R 递归查看指定目录及其子目录
在这里插入图片描述

上传文件到指定目录下

方法一:hadoop fs -put [-f] [-p] …

-f 覆盖目标文件（已经存在）
-p保留访问和修改时间，所有圈和权限
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS)
在这里插入图片描述

方法二：hadoop fs -moveFromLocal …

和-put功能一样，只不过上传结束，源数据会被删除

hadoop fs -moveFromLocal caixukun.csv /tmp/

查看HDFS文件内容

方法一：hadoop fs -cat …

读取指定文件全部内容，显示在标准输出控制台
注意：对于大文件内容读取，慎重

方法二：hadoop fs -head

查看文件前1kb的内容

hadoop fs -head /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv

方法三：hadoop fs -tail [-f]

查看文件最后1kb的内容
-f选择可以动态显示文件中追加的内容

hadoop fs -tail -f  /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv

下载文件

方法一：hadoop fs -get [-f] [-p] …

下载文件到本地文件系统指定目录，localdst必须是目录
-f覆盖目标文件（已存在下）
-p保留访问和修改时间，所有权和权限
在这里插入图片描述

方法二：合并下载hdfs文件

命令：hadoop fs -getmerge [-n1] [-skip-empty-file]
下载多个文件合并到本地文件系统的一个文本中
-n1选项表示在每个文件末尾添加换行符

拷贝文件

hadoop fs -cp [-f] …
-f覆盖目标文件<已存在下>

在这里插入图片描述

追加数据到hdfs文件中

hadooToFile …
dst如果文件不存在，将创建文件。
如果为空，则输入为从标准输入中读取
在这里插入图片描述

查看hdfs磁盘空间

hdaoop fs -df [-h] [ …]
显示文件系统的容量，可用空间和已用空间

查看hdfs文件使用的空间

hadoop fs -du [-s] [-h] …
-s：表示显示指定路径文件长度的汇总摘要，而不是单个文件的摘要

-h：选项将以“人类可读”的方式格式化文件大小

hadoop fs -du -s -h -v /source/weibo/

hdfs数据移动操作

hadoop fs -mv …
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称

修改hdfs文件副本个数

hadoop fs -setrep [R] [-w] …
修改指定文件的副本数
-R表示递归 修改文件夹及其所有
-w客户端是否等待副本修改完毕

相关文章：

HDFS基本操作命令

这里写目录标题 HDFS Shell CLI客户端说明常用命令hadoop fs -mkdir [-p] <path>hadoop fs -ls [-h] [-R] [<path>...]上传文件到指定目录下方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>方法二&#xff1a;hadoop fs -moveFromLocal <loc…...

编程日记 2023/7/26 19:26:48

git 实操

首先有安装好的git,安装好后,会在任一目录下右键出现git bash和git gui两个选项 打开git bash,设置好全局变量,用户名和邮箱,设置方法为: git config -- global user.name "xxx" git config --global user.email "xxxxxx.com" 1.创建版本库 git init 命…...

编程日记 2023/7/26 19:25:48

Visual Studio Code Python 扩展中的包管理

排版&#xff1a;Alan Wang Python 凭借其简单的语法和强大的库&#xff0c;目前已成为最流行的编程语言之一&#xff0c;也是最适合那些刚接触编程的人们的语言。但是&#xff0c;随着项目复杂性和规模的增长&#xff0c;管理依赖项的复杂性也会增加。当新用户不断承接更成熟的…...

编程日记 2023/7/26 19:24:47

spring学习笔记九

数据源对象管理 1、加入pom坐标 <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.1.16</version></dependency><!-- https://mvnrepository.com/artifact/c3p0/c3p0 --><depe…...

编程日记 2023/7/26 19:23:45

java list stream 使用

1、实现List对象集合的简单去重&#xff08;distinct()&#xff09; ​ List<User> list list.stream().distinct().collect(Collectors.toList()); ​2、实现List集合的根据属性&#xff08;name&#xff09;去重 list list.stream().filter(o -> o.getName() ! …...

编程日记 2023/7/26 19:22:44

两个Ubuntu电脑用SSH远程连接

两个Ubuntu电脑用SSH远程连接 1.ssh客户端及服务端的安装&#xff1a; 打开终端后&#xff0c;只需要以下两个命令即可 sudo apt-get install openssh-clientsudo apt-get install openssh-server2.启动ssh服务&#xff0c;执行以下命令&#xff1a; sudo /etc/init.d/ssh …...

编程日记 2023/7/26 19:21:43

讲解 @ServletComponentScan注解

目录: 1、用法介绍2、实例讲解 1、介绍 在SpringBoot项目启动器中添加ServletComponentScan注解后&#xff0c;SpringBoot在启动时会扫描并注册所有带有WebServlet&#xff08;控制器&#xff09;、WebFilter&#xff08;过滤器&#xff09;、WebListener&#xff08;监听器&a…...

编程日记 2023/7/26 19:20:41

20款奔驰S350商务型加装原厂前排座椅通风系统，夏天必备的功能

通风座椅的主动通风功能可以迅速将座椅表面温度降至适宜程度&#xff0c;从而确保最佳座椅舒适性。该功能启用后&#xff0c;车内空气透过打孔皮饰座套被吸入座椅内部&#xff0c;持续时间为 8 分钟。然后&#xff0c;风扇会自动改变旋转方向&#xff0c;将更凉爽的环境空气从座…...

编程日记 2023/7/26 19:19:40

Rust vs Go:常用语法对比(十一)

题目来自 Rust Vs Go: Which Language Is Better For Developing High-Performance Applications?[1] 202. Sum of squares Calculate the sum of squares s of data, an array of floating point values. 计算平方和 package mainimport ( "math")func main() { da…...

编程日记 2023/7/26 19:18:39

Spring MVC拦截器和跨域请求

一、拦截器简介 SpringMVC的拦截器&#xff08;Interceptor&#xff09;也是AOP思想的一种实现方式。它与Servlet的过滤器&#xff08;Filter&#xff09;功能类似&#xff0c;主要用于拦截用户的请求并做相应的处理&#xff0c;通常应用在权限验证、记录请求信息的日志、判断用…...

编程日记 2023/7/26 19:17:37

C++初阶--C++入门

目录 前言C关键字命名空间命名空间的定义命名空间的使用加命名空间名称及作用域限定符使用using namespace 命名空间名称引入使用using将命名空间中的成员引入 C的输入与输出缺省参数全缺省半缺省参数 函数重载参数类型不同参数个数不同参数类型顺序不同 引用引用特性 常引用使…...

编程日记 2023/7/26 19:16:36

Matlab实现PID控制仿真（附上30个完整仿真源码+数据）

本文介绍了如何使用Matlab实现PID控制器的仿真。首先&#xff0c;我们将简要介绍PID控制器的原理和控制算法。然后&#xff0c;我们将使用Matlab编写一个简单的PID控制器&#xff0c;并使用仿真环境来验证其性能。最后&#xff0c;我们将通过调整PID控制器的参数来优化控制系统…...

编程日记 2023/7/26 19:15:35

微信小程序:文件下载

目录 第一步 请求资源 第二步 获取资源后写入到微信本地 获取资源 写入资源(wx.getFileSystemManager)writeFile 的api 第三步 读取资源(openDocument与saveImageToPhotosAlbum) 第一步 请求资源 下面是请求接口中的脚本内容 export let baseUrl http://192.168.78.112…...

编程日记 2023/7/26 19:14:34

QString和QByteArray的区别

QString和QByteArray的区别 本质格式转换QString字符串格式化打印长度 本质 QString是对QByteArray的再次封装 QString可以通过char*来构造&#xff0c;也可以通过QByteArray来构造 QByteArray就是char* QString是编码后的char* QString也是封装了字符串, 但是内部的编码为utf…...

编程日记 2023/7/26 19:13:33

Vue3 Vite electron 开发桌面程序

Electron是一个跨平台的桌面应用程序开发框架&#xff0c;它允许开发人员使用Web技术&#xff08;如HTML、CSS和JavaScript&#xff09;构建桌面应用程序&#xff0c;这些应用程序可以在Windows、macOS和Linux等操作系统上运行。 Electron的核心是Chromium浏览器内核和Node.js…...

编程日记 2023/7/26 19:12:32

【Nodejs】Express模板使用

1.Express脚手架的安装 安装Express脚手架有两种方式&#xff1a; 使用express-generator安装 使用命令行进入项目目录&#xff0c;依次执行&#xff1a; cnpm i -g express-generator可通过express -h查看命令行的指令含义 express -hUsage: express [options] [dir] Optio…...

编程日记 2023/7/26 19:11:31

【iOS】App仿写--管理系统

文章目录 前言一、账号界面二、功能界面三、添加功能四、删除功能五、更改功能六、查找功能七、排序功能八、退出功能总结 前言 在日常生活中&#xff0c;如果用文字来记述与管理我们数据会十分麻烦&#xff0c;并且人工成本较高&#xff0c;这里笔者给出一种管理系统的模版&a…...

编程日记 2023/7/26 19:10:30

JS实现队列的数据结构

创建queue.ts /*** 队列*/ export default class Queue<T> {private items: object;private count: number;private header: number;constructor() {this.items {};this.count this.header 0;}/*** 入队列* param element* returns 当前队列的数量*/enqueue(element:…...

编程日记 2023/7/26 19:09:29

title: 用 LangChain 构建基于资料库的问答机器人（四）：通过代理使用外部工具

上一篇教程我们介绍了 ReAct 系统&#xff0c;这是一个非常强大的行为模式&#xff0c;但它需要编写大量的示例来告诉 LLM 如何思考、行动&#xff0c;并且为了遵循这个模式&#xff0c;还需要编写代码来分析生成文字、调用函数、拼接 prompt 等&#xff0c;这些工作都是十分繁…...

编程日记 2023/7/26 19:08:28

使用 CSS 自定义属性

我们常见的网站日夜间模式的变化&#xff0c;其实用到了 css 自定义属性。 CSS 自定义属性&#xff08;也称为 CSS 变量&#xff09;是一种在 CSS 中预定义和使用的变量。它们提供了一种简洁和灵活的方式来通过多个 CSS 规则共享相同的值&#xff0c;使得样式更易于维护和修改。…...

编程日记 2023/7/26 19:07:27

Unity 性能优化一：性能标准、常用工具

性能标准 推荐耗时&#xff1a; 性能提现到玩家直观感受&#xff0c;就是帧率&#xff0c;为了达到要求的帧率&#xff0c;就要控制CPU的耗时&#xff0c;不同类型的游戏&#xff0c;对帧率要求不一样。下面是推荐耗时&#xff1a; 推荐内存&#xff1a; 避免游戏闪退的重点…...

编程日记 2023/7/26 19:06:26

【http长连接+池化】

参考&#xff1a; https://it.cha138.com/ios/show-49862.html http://blog.chinaunix.net/uid-16480950-id-103597.html https://www.cnblogs.com/kevin-yuan/p/13731552.html https://www.jianshu.com/p/17e9aacca438 一、http长连接和短连接 HTTP协议是无状态的协议&#…...

编程日记 2023/7/26 19:05:25

opencv-20 深入理解HSV 色彩空间（通过指定，标记颜色等来拓展ROI区域）

RGB 色彩空间是一种被广泛接受的色彩空间&#xff0c;但是该色彩空间过于抽象&#xff0c;我们不能够直接通过其值感知具体的色彩。 我们更习惯使用直观的方式来感知颜色&#xff0c;HSV 色彩空间提供了这样 的方式。 通过 HSV色彩空间&#xff0c;我们能够更加方便地通过色调、…...

编程日记 2023/7/26 19:04:23

python调用arcgis功能一例

python调用arcgis功能一例 执行方法&#xff1a; D:\data\python>python test_Select.pywindow11下环境变量设置 此电脑/属性/系统/高级系统设置/高级/环境变量/path path中添加全局目录&#xff1a;C:\Python27\ArcGIS10.4 test_Select.py脚本内容 # Name: Select_Examp…...

编程日记 2023/7/26 19:03:21

Spring MVC 是什么？

一、什么是 Spring MVC&#xff1f; 官方对于 Spring MVC 的描述是这样的&#xff1a; Spring Web MVC is the original web framework built on the Servlet API and has been included in the Spring Framework from the very beginning. The formal name, “Spring Web …...

编程日记 2023/7/26 19:02:20

Rust操作MySQL

查询 本部分是对 「Rust入门系列」Rust 中使用 MySQL[1]的学习与记录 经常使用的时间处理库&#xff1a; chrono 流式查询使用&#xff1a; query_iter 输出到Vec使用&#xff1a; query 映射到结构体使用&#xff1a; query_map 获取单条数据使用&#xff1a; query_first 命名…...

编程日记 2023/7/26 19:01:18

JAVA面试总结-Redis篇章(二)——缓存击穿

JAVA面试总结-Redis篇章&#xff08;二&#xff09; 缓存击穿解决方案一&#xff1a;互斥锁解决方案二&#xff1a;逻辑过期![在这里插入图片描述](https://img-blog.csdnimg.cn/176dfab3e26044a9a730fabea4314e8e.png) 缓存击穿 解决方案一&#xff1a;互斥锁 解决方案二&…...

编程日记 2023/7/26 19:00:18

Spring相关知识点

概述 分层的轻量级的全栈开源框架 展示层SprigMVC 持久层 Spring JDBCTemplate 业务层事务管理 注&#xff1a; 轻量级&#xff1a;API简单 全栈&#xff1a;各层都有相应解决方案 在Spring的体系结构中&#xff0c;由上而下&#xff0c;逐层依赖 Spring相当于是一个粘合剂&…...

编程日记 2023/7/26 18:59:16

Nginx专题--反向代理(未完成)

反向代理 　　正向代理&#xff1a;如果把局域网外的 Internet 想象成一个巨大的资源库&#xff0c;则局域网中的客户端要访问 Internet&#xff0c;则需要通过代理服务器来访问&#xff0c;这种代理服务就称为正向代理。 反向代理&#xff1a;其实客户端对代理是无感知的&…...

编程日记 2023/7/26 18:58:15

什么是搜索引擎？2023 年搜索引擎如何运作？

目录 什么是搜索引擎&#xff1f;搜索引擎的原理什么是搜索引擎爬取&#xff1f;什么是搜索引擎索引&#xff1f;什么是搜索引擎检索?什么是搜索引擎排序&#xff1f; 搜索引擎的目的是什么&#xff1f;搜索引擎如何赚钱&#xff1f;搜索引擎如何建立索引?网页抓取文本处理建…...

编程日记 2023/7/26 18:57:14