当前位置： 首页 > news >正文

HDFS基本操作命令

news 2026/2/9 3:49:07

这里写目录标题

  • HDFS Shell CLI客户端
    • 说明
    • 常用命令
      • hadoop fs -mkdir [-p] <path>
      • hadoop fs -ls [-h] [-R] [<path>...]
      • 上传文件到指定目录下
        • 方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>
        • 方法二：hadoop fs -moveFromLocal <localsrc>....<dst>
      • 查看HDFS文件内容
        • 方法一：hadoop fs -cat <src> ...
        • 方法二：hadoop fs -head <file>
        • 方法三：hadoop fs -tail [-f] <file>
      • 下载文件
        • 方法一：hadoop fs -get [-f] [-p] <src>...<localdst>
        • 方法二：合并下载hdfs文件
      • 拷贝文件
      • 追加数据到hdfs文件中
      • 查看hdfs磁盘空间
      • 查看hdfs文件使用的空间
      • hdfs数据移动操作
      • 修改hdfs文件副本个数

HDFS Shell CLI客户端

说明

  • hdfs shell cli支持操作多种文件系统，包括本地文件系统(file:///),分布式文件系统(hdfs:nn:8020)等
  • 操作的是什么文件系统取决于URL种的前缀协议
  • 如果没有指定前缀，则将会读取环境变量汇总的fs.defaultFS属性，以该属性作为默认文件系统
    • hdfs dfs -ls file:/// #操作本地文件系统
    • hdfs dfs -ls hdfs://node1:8020/ #草足hdfs分布式文件系统
    • hdfs dfs -ls / #直接根目录，没有指定协议，将夹在读取fs.default FS
      在这里插入图片描述

常用命令

hadoop fs -mkdir [-p]

path 为待创建的目录
-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录
在这里插入图片描述

hadoop fs -ls [-h] [-R] [ …]

path 指定目录路径
-h显示文件size
-R 递归查看指定目录及其子目录
在这里插入图片描述

上传文件到指定目录下

方法一:hadoop fs -put [-f] [-p] …

-f 覆盖目标文件（已经存在）
-p保留访问和修改时间，所有圈和权限
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS)
在这里插入图片描述

方法二：hadoop fs -moveFromLocal …

和-put功能一样，只不过上传结束，源数据会被删除

hadoop fs -moveFromLocal caixukun.csv /tmp/

查看HDFS文件内容

方法一：hadoop fs -cat …

读取指定文件全部内容，显示在标准输出控制台
注意：对于大文件内容读取，慎重

方法二：hadoop fs -head

查看文件前1kb的内容

hadoop fs -head /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv

方法三：hadoop fs -tail [-f]

查看文件最后1kb的内容
-f选择可以动态显示文件中追加的内容

hadoop fs -tail -f  /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv

下载文件

方法一：hadoop fs -get [-f] [-p] …

下载文件到本地文件系统指定目录，localdst必须是目录
-f覆盖目标文件（已存在下）
-p保留访问和修改时间，所有权和权限
在这里插入图片描述

方法二：合并下载hdfs文件

命令：hadoop fs -getmerge [-n1] [-skip-empty-file]
下载多个文件合并到本地文件系统的一个文本中
-n1选项表示在每个文件末尾添加换行符

拷贝文件

hadoop fs -cp [-f] …
-f覆盖目标文件<已存在下>

在这里插入图片描述

追加数据到hdfs文件中

hadooToFile …
dst如果文件不存在，将创建文件。
如果为空，则输入为从标准输入中读取
在这里插入图片描述

查看hdfs磁盘空间

hdaoop fs -df [-h] [ …]
显示文件系统的容量，可用空间和已用空间

查看hdfs文件使用的空间

hadoop fs -du [-s] [-h] …
-s：表示显示指定路径文件长度的汇总摘要，而不是单个文件的摘要

-h：选项将以“人类可读”的方式格式化文件大小

hadoop fs -du -s -h -v /source/weibo/

hdfs数据移动操作

hadoop fs -mv …
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称

修改hdfs文件副本个数

hadoop fs -setrep [R] [-w] …
修改指定文件的副本数
-R表示递归 修改文件夹及其所有
-w客户端是否等待副本修改完毕

相关文章：

HDFS基本操作命令

这里写目录标题 HDFS Shell CLI客户端说明常用命令hadoop fs -mkdir [-p] <path>hadoop fs -ls [-h] [-R] [<path>...]上传文件到指定目录下方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>方法二&#xff1a;hadoop fs -moveFromLocal <loc…...

编程日记 2023/7/26 19:26:48

git 实操

首先有安装好的git,安装好后,会在任一目录下右键出现git bash和git gui两个选项 打开git bash,设置好全局变量,用户名和邮箱,设置方法为: git config -- global user.name "xxx" git config --global user.email "xxxxxx.com" 1.创建版本库 git init 命…...

编程日记 2023/7/26 19:25:48

Visual Studio Code Python 扩展中的包管理

排版&#xff1a;Alan Wang Python 凭借其简单的语法和强大的库&#xff0c;目前已成为最流行的编程语言之一&#xff0c;也是最适合那些刚接触编程的人们的语言。但是&#xff0c;随着项目复杂性和规模的增长&#xff0c;管理依赖项的复杂性也会增加。当新用户不断承接更成熟的…...

编程日记 2023/7/26 19:24:47

spring学习笔记九

数据源对象管理 1、加入pom坐标 <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.1.16</version></dependency><!-- https://mvnrepository.com/artifact/c3p0/c3p0 --><depe…...

编程日记 2023/7/26 19:23:45

java list stream 使用

1、实现List对象集合的简单去重&#xff08;distinct()&#xff09; ​ List<User> list list.stream().distinct().collect(Collectors.toList()); ​2、实现List集合的根据属性&#xff08;name&#xff09;去重 list list.stream().filter(o -> o.getName() ! …...

编程日记 2023/7/26 19:22:44

两个Ubuntu电脑用SSH远程连接

两个Ubuntu电脑用SSH远程连接 1.ssh客户端及服务端的安装&#xff1a; 打开终端后&#xff0c;只需要以下两个命令即可 sudo apt-get install openssh-clientsudo apt-get install openssh-server2.启动ssh服务&#xff0c;执行以下命令&#xff1a; sudo /etc/init.d/ssh …...

编程日记 2023/7/26 19:21:43

讲解 @ServletComponentScan注解

目录: 1、用法介绍2、实例讲解 1、介绍 在SpringBoot项目启动器中添加ServletComponentScan注解后&#xff0c;SpringBoot在启动时会扫描并注册所有带有WebServlet&#xff08;控制器&#xff09;、WebFilter&#xff08;过滤器&#xff09;、WebListener&#xff08;监听器&a…...

编程日记 2023/7/26 19:20:41

20款奔驰S350商务型加装原厂前排座椅通风系统，夏天必备的功能

通风座椅的主动通风功能可以迅速将座椅表面温度降至适宜程度&#xff0c;从而确保最佳座椅舒适性。该功能启用后&#xff0c;车内空气透过打孔皮饰座套被吸入座椅内部&#xff0c;持续时间为 8 分钟。然后&#xff0c;风扇会自动改变旋转方向&#xff0c;将更凉爽的环境空气从座…...

编程日记 2023/7/26 19:19:40

Rust vs Go:常用语法对比(十一)

题目来自 Rust Vs Go: Which Language Is Better For Developing High-Performance Applications?[1] 202. Sum of squares Calculate the sum of squares s of data, an array of floating point values. 计算平方和 package mainimport ( "math")func main() { da…...

编程日记 2023/7/26 19:18:39

Spring MVC拦截器和跨域请求

一、拦截器简介 SpringMVC的拦截器&#xff08;Interceptor&#xff09;也是AOP思想的一种实现方式。它与Servlet的过滤器&#xff08;Filter&#xff09;功能类似&#xff0c;主要用于拦截用户的请求并做相应的处理&#xff0c;通常应用在权限验证、记录请求信息的日志、判断用…...

编程日记 2023/7/26 19:17:37

C++初阶--C++入门

目录 前言C关键字命名空间命名空间的定义命名空间的使用加命名空间名称及作用域限定符使用using namespace 命名空间名称引入使用using将命名空间中的成员引入 C的输入与输出缺省参数全缺省半缺省参数 函数重载参数类型不同参数个数不同参数类型顺序不同 引用引用特性 常引用使…...

编程日记 2023/7/26 19:16:36

Matlab实现PID控制仿真（附上30个完整仿真源码+数据）

本文介绍了如何使用Matlab实现PID控制器的仿真。首先&#xff0c;我们将简要介绍PID控制器的原理和控制算法。然后&#xff0c;我们将使用Matlab编写一个简单的PID控制器&#xff0c;并使用仿真环境来验证其性能。最后&#xff0c;我们将通过调整PID控制器的参数来优化控制系统…...

编程日记 2023/7/26 19:15:35

微信小程序:文件下载

目录 第一步 请求资源 第二步 获取资源后写入到微信本地 获取资源 写入资源(wx.getFileSystemManager)writeFile 的api 第三步 读取资源(openDocument与saveImageToPhotosAlbum) 第一步 请求资源 下面是请求接口中的脚本内容 export let baseUrl http://192.168.78.112…...

编程日记 2023/7/26 19:14:34

QString和QByteArray的区别

QString和QByteArray的区别 本质格式转换QString字符串格式化打印长度 本质 QString是对QByteArray的再次封装 QString可以通过char*来构造&#xff0c;也可以通过QByteArray来构造 QByteArray就是char* QString是编码后的char* QString也是封装了字符串, 但是内部的编码为utf…...

编程日记 2023/7/26 19:13:33

Vue3 Vite electron 开发桌面程序

Electron是一个跨平台的桌面应用程序开发框架&#xff0c;它允许开发人员使用Web技术&#xff08;如HTML、CSS和JavaScript&#xff09;构建桌面应用程序&#xff0c;这些应用程序可以在Windows、macOS和Linux等操作系统上运行。 Electron的核心是Chromium浏览器内核和Node.js…...

编程日记 2023/7/26 19:12:32

【Nodejs】Express模板使用

1.Express脚手架的安装 安装Express脚手架有两种方式&#xff1a; 使用express-generator安装 使用命令行进入项目目录&#xff0c;依次执行&#xff1a; cnpm i -g express-generator可通过express -h查看命令行的指令含义 express -hUsage: express [options] [dir] Optio…...

编程日记 2023/7/26 19:11:31

【iOS】App仿写--管理系统

文章目录 前言一、账号界面二、功能界面三、添加功能四、删除功能五、更改功能六、查找功能七、排序功能八、退出功能总结 前言 在日常生活中&#xff0c;如果用文字来记述与管理我们数据会十分麻烦&#xff0c;并且人工成本较高&#xff0c;这里笔者给出一种管理系统的模版&a…...

编程日记 2023/7/26 19:10:30

JS实现队列的数据结构

创建queue.ts /*** 队列*/ export default class Queue<T> {private items: object;private count: number;private header: number;constructor() {this.items {};this.count this.header 0;}/*** 入队列* param element* returns 当前队列的数量*/enqueue(element:…...

编程日记 2023/7/26 19:09:29

title: 用 LangChain 构建基于资料库的问答机器人（四）：通过代理使用外部工具

上一篇教程我们介绍了 ReAct 系统&#xff0c;这是一个非常强大的行为模式&#xff0c;但它需要编写大量的示例来告诉 LLM 如何思考、行动&#xff0c;并且为了遵循这个模式&#xff0c;还需要编写代码来分析生成文字、调用函数、拼接 prompt 等&#xff0c;这些工作都是十分繁…...

编程日记 2023/7/26 19:08:28

使用 CSS 自定义属性

我们常见的网站日夜间模式的变化&#xff0c;其实用到了 css 自定义属性。 CSS 自定义属性&#xff08;也称为 CSS 变量&#xff09;是一种在 CSS 中预定义和使用的变量。它们提供了一种简洁和灵活的方式来通过多个 CSS 规则共享相同的值&#xff0c;使得样式更易于维护和修改。…...

编程日记 2023/7/26 19:07:27

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…...

编程新知 2026/2/8 1:53:29

【WiFi帧结构】

文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成&#xff1a;MAC头部frame bodyFCS&#xff0c;其中MAC是固定格式的&#xff0c;frame body是可变长度。 MAC头部有frame control&#xff0c;duration&#xff0c;address1&#xff0c;address2&#xff0c;addre…...

编程新知 2026/2/7 17:33:19

线程同步：确保多线程程序的安全与高效！

全文目录&#xff1a; 开篇语前序前言第一部分&#xff1a;线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分&#xff1a;synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

编程新知 2025/9/24 16:02:40

条件运算符

C中的三目运算符&#xff08;也称条件运算符&#xff0c;英文&#xff1a;ternary operator&#xff09;是一种简洁的条件选择语句&#xff0c;语法如下&#xff1a; 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true&#xff0c;则整个表达式的结果为“表达式1”…...

编程新知 2025/12/6 22:50:48

[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?

论文网址&#xff1a;pdf 英文是纯手打的&#xff01;论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误&#xff0c;若有发现欢迎评论指正&#xff01;文章偏向于笔记&#xff0c;谨慎食用 目录 1. 心得 2. 论文逐段精读 2.1. Abstract 2…...

编程新知 2026/2/6 14:42:11

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学&#xff08;ECC&#xff09;是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础&#xff0c;例如椭圆曲线数字签…...

编程新知 2026/2/6 7:30:33

Go 语言并发编程基础：无缓冲与有缓冲通道

在上一章节中&#xff0c;我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道&#xff0c;它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...

编程新知 2026/1/29 3:25:02

使用Spring AI和MCP协议构建图片搜索服务

目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式&#xff08;本地调用&#xff09; SSE模式&#xff08;远程调用&#xff09; 4. 注册工具提…...

编程新知 2026/1/25 14:31:47

Linux 中如何提取压缩文件 ？

Linux 是一种流行的开源操作系统&#xff0c;它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间&#xff0c;使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的&#xff0c;要在 …...

编程新知 2026/2/1 5:38:25

根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的----NTFS源代码分析--重要

根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的 第一部分&#xff1a; 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…...

编程新知 2025/8/27 0:09:05