Hadoop学习总结（Shell操作）

HDFS Shell 参数

命令参数	功能描述
-ls	查看指定路径的目录结构
-du	统计目录下所有文件大小
-mv	移动文件
-cp	复制文件
-rm	删除文件 / 空白文件夹
-put	上传文件
-cat	查看内容文件
-text	将源文件输出文本格式
-mkdir	创建空白文件夹
-help	帮助

一、ls 命令

      ls 命令用于查看指定路径的当前目录结构，语法格式如下

hadoop fs -ls [-d] [-h] [-R]<args>  //<args>表示命令的可选参数

• -d：将目录显示为普通文件。
• -h：使用便于操作人员读取的单位信息格式。
• -R：递归显示所有子目录的信息。

示例：查看根路径下的所有文件

hadoop fs -ls /

二、mkdir 命令

      mkdir 命令用于指定路径下创建子目录，其中创建的路径可以采用 URL 格式进行指定，语法格式如下

hadoop fs -mkdir [-p] <paths>

     其中 -p 参数表示创建子目录来先检查路径是否存在，如果不存在，则创建相应的各级目录。

示例：在根目录下创建 /test 目录 和 /exp/demo 目录

hadoop fs -mkdir /test
hadoop fs -mkdir -p /exp/demo

刷新 HDFS 集群状态，就能看到创建的目录

三、put 命令

      put 命令用于将本地系统文件或文件夹复制到 HDFS 上，语法格式如下

hadoop fs -put [-f] [-p] <locationsrc> <det>

• -f：覆盖目标文件。
• -p：保留访问和修改时间、权限。

示例：上传一个 data.txt 到 /exp/demo 目录

touch data.txt  或者   vi data.txt
hadoop fs -put data.txt /exp/demo

四、mv 命令

示例：把 /exp/demo/data.txt 移动到 /test 目录下

hadoop fs -mv /exp/demo/data.txt /test

刷新 HDFS 集群状态

五、cp 命令

示例：把 /test/data.txt 复制到根路径下

hadoop fs -cp /test/data.txt /

刷新 HDFS 集群状态

六、rm 命令

1、示例：把 /test/data.txt 文件删除

hadoop fs -rm /test/data.txt

刷新 HDFS 集群状态

2、示例：把 /exp/demo/ 目录删掉

hadoop fs -rm -r /exp/demo/

刷新 HDFS 集群状态

七、cat 命令

示例：查看 /data.txt 文件的内容

hadoop fs -cat /data.txt

八、get 命令

示例：把 /data.txt 文件下载到 /export/data目录下

 hadoop fs -get /data.txt /export/data