HDFS常用命令

1.HDFS命令介绍

HDFS 提供了一组命令行工具，用于管理和操作 HDFS 文件系统。

1.1基本语法格式

hdfs dfs -<命令> [选项] <参数>

1.2常用命令

1.显示<path>指定的文件的详细信息。

hadoop fs -ls <path>

2.ls命令的递归版本

hadoop fs -ls -R <path>

3.将 指定的文件的内容输出到标准输出（ stdout )

hadoop fs -cat <path>

4.将<path>指定的文件所属的组改为group，使用-R对<path>指定的文件夹内的文件进行递归操作。这个命令只适用于超级用户。

hadoop fs -chgrp [-R] group <path>

5.改变<path>指定的文件的拥有者,-R用于递归改变文件夹内的文件的拥有者。这个命令只适用于超级用户。

hadoop fs -chown [-R] [owner] [: [group]] <path>

6.将<path>指定的文件的权限更改为<mode>。这个命令只适用于超级用户和文件的所有者。

hadoop fs -chmod [-R] <mode><path>

7.将<path>指定的文件最后1KB的内容输出到标准输出 ( stdout)上，-f选项用于持续检测新添加到文件中的内容。

hadoop fs -tail [-f] <path>。

8.以指定的格式返回<path>指定的文件的相关信息。当不指定format的时候，返回文件<path>的创建日期。

hadoop fs -stat [format] <path>

9.创建一个<path>指定的空文件。

hadoop fs -touchz <path>

10.创建<paths>指定的一个或多个文件夹,-p选项用于递归创建子文件夹。

hadoop fs -mkdir [-p] <paths>

11.将本地源文件复制到路径<dst指定的文件或文件夹中。

hadoop fs -copyFromLocal <localsrc><dst>

12.将目标文件<target>复制到本地文件或文件夹<localdst>中，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。

hadoop fs -copyToLocal [-ignorecrc] [-crc] <target><localdst>

13.将文件从源路径<src>复制到目标路径<dst>。

hadoop fs -cp <src><dst>

14.显示<path>指定的文件或文件夹中所有文件的大小。

hadoop fs -du <path>

15.清空回收站，请参考HDFS官方文档以获取更多关于回收站特性的信息。

hadoop fs -expunge

16.复制<src>指定的文件到本地文件系统<localdst>指定的文件或文件夹，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。

hadoop fs -get [-ignorecrc] [-crc] <src><localdst>

17.对<src>指定的源目录中的所有文件进行合并，写入<localdst>指定的本地文件。-nl是可选的，用于指定在每个文件结尾添加一个换行符。

hadoop fs -getmerge [-nl] <src><localdst>

18.从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目标文件系统中，也支持从标准输入( stdin )中读取输入写入目标文件系统。

.hadoop fs -put <localsrc><ds>

19.与put命令功能相同，但是文件上传结束后会从本地文件系统中删除指定的文件。

hadoop fs -moveFromLocal <localsrc><dst>

20.将文件从源路径<src>移动到目标路径<dst>

hadoop fs -mv <src><dest>

21.删除<path>指定的文件，只删除非空目录和文件。

hadoop fs -rm <path>

22.删除<path>指定的文件夹及其下的所有文件，-r选项表示递归删除子目录。

hadoop fs -rm -r <path>

23.改变<path>指定的文件的副本系数,-R选项用于递归改变目录下所有文件的副本系数。

hadoop fs -setrep [-R] <path>

24.检查 指定的文件或文件夹的相关信息。不同选项的作用如下。

• -e检查文件是否存在，如果存在则返回0，否则返回1。
• -z检查文件是否是0字节，如果是则返回0，否则返回1。
• -d如果路径是个目录，则返回1，否则返回0。

hadoop fs -test -[ezd] <path>

25.将<path>指定的文件输出为文本格式，文件的格式允许是zip和TextRecordInputStream等。

hadoop fs -text <path>