【hadoop】常用命令

集群信息

查看hadoop版本

hadoop version

查询hdfs系统中的namenode

# 方式一
hdfs getconf -namenodes# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

hdfs getconf -confKey yarn.resourcemanager.webapp.address

文件操作

显示目录结构

hdfs dfs -ls -R /

创建目录

hdfs dfs -mkdir /test

上传本地文件到指定目录下

hdfs dfs -put /tmp/test.txt /test

查看文件内容

hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

hdfs dfs -touch /test/test1.txt

重命名文件

hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

hdfs dfs -rm /test/test2.txt

删除文件夹

hdfs dfs -rm -r /test

下载文件到本地

hdfs dfs -get /test/test.txt /tmp