HDFS基本操作命令
这里写目录标题
- HDFS Shell CLI客户端
- 说明
- 常用命令
- hadoop fs -mkdir [-p] <path>
- hadoop fs -ls [-h] [-R] [<path>...]
- 上传文件到指定目录下
- 方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>
- 方法二：hadoop fs -moveFromLocal <localsrc>....<dst>
- 查看HDFS文件内容
- 方法一：hadoop fs -cat <src> ...
- 方法二：hadoop fs -head <file>
- 方法三：hadoop fs -tail [-f] <file>
- 下载文件
- 方法一：hadoop fs -get [-f] [-p] <src>...<localdst>
- 方法二：合并下载hdfs文件
- 拷贝文件
- 追加数据到hdfs文件中
- 查看hdfs磁盘空间
- 查看hdfs文件使用的空间
- hdfs数据移动操作
- 修改hdfs文件副本个数
HDFS Shell CLI客户端
说明
- hdfs shell cli支持操作多种文件系统，包括本地文件系统(file:///),分布式文件系统(hdfs:nn:8020)等
- 操作的是什么文件系统取决于URL种的前缀协议
- 如果没有指定前缀，则将会读取环境变量汇总的fs.defaultFS属性，以该属性作为默认文件系统
- hdfs dfs -ls file:/// #操作本地文件系统
- hdfs dfs -ls hdfs://node1:8020/ #草足hdfs分布式文件系统
- hdfs dfs -ls / #直接根目录，没有指定协议，将夹在读取fs.default FS
常用命令
hadoop fs -mkdir [-p]
path 为待创建的目录
-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录
hadoop fs -ls [-h] [-R] [ …]
path 指定目录路径
-h显示文件size
-R 递归查看指定目录及其子目录
上传文件到指定目录下
方法一:hadoop fs -put [-f] [-p] …
-f 覆盖目标文件（已经存在）
-p保留访问和修改时间，所有圈和权限
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS)
方法二：hadoop fs -moveFromLocal …
和-put功能一样，只不过上传结束，源数据会被删除
hadoop fs -moveFromLocal caixukun.csv /tmp/
查看HDFS文件内容
方法一：hadoop fs -cat …
读取指定文件全部内容，显示在标准输出控制台
注意：对于大文件内容读取，慎重
方法二：hadoop fs -head
查看文件前1kb的内容
hadoop fs -head /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv方法三：hadoop fs -tail [-f]
查看文件最后1kb的内容
-f选择可以动态显示文件中追加的内容
hadoop fs -tail -f /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv下载文件
方法一：hadoop fs -get [-f] [-p] …
下载文件到本地文件系统指定目录，localdst必须是目录
-f覆盖目标文件（已存在下）
-p保留访问和修改时间，所有权和权限
方法二：合并下载hdfs文件
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]
下载多个文件合并到本地文件系统的一个文本中
-n1选项表示在每个文件末尾添加换行符
拷贝文件
hadoop fs -cp [-f] …
-f覆盖目标文件<已存在下>
追加数据到hdfs文件中
hadooToFile …
dst如果文件不存在，将创建文件。
如果为空，则输入为从标准输入中读取
查看hdfs磁盘空间
hdaoop fs -df [-h] [
显示文件系统的容量，可用空间和已用空间
查看hdfs文件使用的空间
hadoop fs -du [-s] [-h]
-s：表示显示指定路径文件长度的汇总摘要，而不是单个文件的摘要
-h：选项将以“人类可读”的方式格式化文件大小
hadoop fs -du -s -h -v /source/weibo/
hdfs数据移动操作
hadoop fs -mv …
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称
修改hdfs文件副本个数
hadoop fs -setrep [R] [-w]
修改指定文件的副本数
-R表示递归 修改文件夹及其所有
-w客户端是否等待副本修改完毕
相关文章：
HDFS基本操作命令
这里写目录标题 HDFS Shell CLI客户端说明常用命令hadoop fs -mkdir [-p] <path>hadoop fs -ls [-h] [-R] [<path>...]上传文件到指定目录下方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>方法二：hadoop fs -moveFromLocal <loc…...
git 实操
首先有安装好的git,安装好后,会在任一目录下右键出现git bash和git gui两个选项 打开git bash,设置好全局变量,用户名和邮箱,设置方法为: git config -- global user.name "xxx" git config --global user.email "xxxxxx.com" 1.创建版本库 git init 命…...
Visual Studio Code Python 扩展中的包管理
排版：Alan Wang Python 凭借其简单的语法和强大的库，目前已成为最流行的编程语言之一，也是最适合那些刚接触编程的人们的语言。但是，随着项目复杂性和规模的增长，管理依赖项的复杂性也会增加。当新用户不断承接更成熟的…...
spring学习笔记九
数据源对象管理 1、加入pom坐标 <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.1.16</version></dependency><!-- https://mvnrepository.com/artifact/c3p0/c3p0 --><depe…...
java list stream 使用
1、实现List对象集合的简单去重（distinct()） List<User> list list.stream().distinct().collect(Collectors.toList()); 2、实现List集合的根据属性（name）去重 list list.stream().filter(o -> o.getName() ! …...
两个Ubuntu电脑用SSH远程连接
两个Ubuntu电脑用SSH远程连接 1.ssh客户端及服务端的安装： 打开终端后，只需要以下两个命令即可 sudo apt-get install openssh-clientsudo apt-get install openssh-server2.启动ssh服务，执行以下命令： sudo /etc/init.d/ssh …...
讲解 @ServletComponentScan注解
目录: 1、用法介绍2、实例讲解 1、介绍 在SpringBoot项目启动器中添加ServletComponentScan注解后，SpringBoot在启动时会扫描并注册所有带有WebServlet（控制器）、WebFilter（过滤器）、WebListener（监听器&a…...
20款奔驰S350商务型加装原厂前排座椅通风系统，夏天必备的功能
通风座椅的主动通风功能可以迅速将座椅表面温度降至适宜程度，从而确保最佳座椅舒适性。该功能启用后，车内空气透过打孔皮饰座套被吸入座椅内部，持续时间为 8 分钟。然后，风扇会自动改变旋转方向，将更凉爽的环境空气从座…...
Rust vs Go:常用语法对比(十一)
题目来自 Rust Vs Go: Which Language Is Better For Developing High-Performance Applications?[1] 202. Sum of squares Calculate the sum of squares s of data, an array of floating point values. 计算平方和 package mainimport ( "math")func main() { da…...
Spring MVC拦截器和跨域请求
一、拦截器简介 SpringMVC的拦截器（Interceptor）也是AOP思想的一种实现方式。它与Servlet的过滤器（Filter）功能类似，主要用于拦截用户的请求并做相应的处理，通常应用在权限验证、记录请求信息的日志、判断用…...
C++初阶--C++入门
目录 前言C关键字命名空间命名空间的定义命名空间的使用加命名空间名称及作用域限定符使用using namespace 命名空间名称引入使用using将命名空间中的成员引入 C的输入与输出缺省参数全缺省半缺省参数 函数重载参数类型不同参数个数不同参数类型顺序不同 引用引用特性 常引用使…...
Matlab实现PID控制仿真（附上30个完整仿真源码+数据）
本文介绍了如何使用Matlab实现PID控制器的仿真。首先，我们将简要介绍PID控制器的原理和控制算法。然后，我们将使用Matlab编写一个简单的PID控制器，并使用仿真环境来验证其性能。最后，我们将通过调整PID控制器的参数来优化控制系统…...
微信小程序:文件下载
目录 第一步 请求资源 第二步 获取资源后写入到微信本地 获取资源 写入资源(wx.getFileSystemManager)writeFile 的api 第三步 读取资源(openDocument与saveImageToPhotosAlbum) 第一步 请求资源 下面是请求接口中的脚本内容 export let baseUrl http://192.168.78.112…...
QString和QByteArray的区别
QString和QByteArray的区别 本质格式转换QString字符串格式化打印长度 本质 QString是对QByteArray的再次封装 QString可以通过char*来构造，也可以通过QByteArray来构造 QByteArray就是char* QString是编码后的char* QString也是封装了字符串, 但是内部的编码为utf…...
Vue3 Vite electron 开发桌面程序
Electron是一个跨平台的桌面应用程序开发框架，它允许开发人员使用Web技术（如HTML、CSS和JavaScript）构建桌面应用程序，这些应用程序可以在Windows、macOS和Linux等操作系统上运行。 Electron的核心是Chromium浏览器内核和Node.js…...
【Nodejs】Express模板使用
1.Express脚手架的安装 安装Express脚手架有两种方式： 使用express-generator安装 使用命令行进入项目目录，依次执行： cnpm i -g express-generator可通过express -h查看命令行的指令含义 express -hUsage: express [options] [dir] Optio…...
【iOS】App仿写--管理系统
文章目录 前言一、账号界面二、功能界面三、添加功能四、删除功能五、更改功能六、查找功能七、排序功能八、退出功能总结 前言 在日常生活中，如果用文字来记述与管理我们数据会十分麻烦，并且人工成本较高，这里笔者给出一种管理系统的模版&a…...
JS实现队列的数据结构
创建queue.ts /*** 队列*/ export default class Queue<T> {private items: object;private count: number;private header: number;constructor() {this.items {};this.count this.header 0;}/*** 入队列* param element* returns 当前队列的数量*/enqueue(element:…...
title: 用 LangChain 构建基于资料库的问答机器人（四）：通过代理使用外部工具
上一篇教程我们介绍了 ReAct 系统，这是一个非常强大的行为模式，但它需要编写大量的示例来告诉 LLM 如何思考、行动，并且为了遵循这个模式，还需要编写代码来分析生成文字、调用函数、拼接 prompt 等，这些工作都是十分繁…...
使用 CSS 自定义属性
我们常见的网站日夜间模式的变化，其实用到了 css 自定义属性。 CSS 自定义属性（也称为 CSS 变量）是一种在 CSS 中预定义和使用的变量。它们提供了一种简洁和灵活的方式来通过多个 CSS 规则共享相同的值，使得样式更易于维护和修改。…...
基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真
目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销，平衡网络负载，延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...
Matlab | matlab常用命令总结
常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...
R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中，科研绘图是必不可少的，一张好看的图形会是文章很大的加分项。 为了便于使用，本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中，获取方式： R 语言科研绘图模板 --- sciRplothttps://mp.…...
android RelativeLayout布局
<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...
云原生周刊：k0s 成为 CNCF 沙箱项目
开源项目推荐 HAMi HAMi（原名 k8s‑vGPU‑scheduler）是一款 CNCF Sandbox 级别的开源 K8s 中间件，通过虚拟化 GPU/NPU 等异构设备并支持内存、计算核心时间片隔离及共享调度，为容器提供统一接口，实现细粒度资源配额…...
Monorepo架构: Nx Cloud 扩展能力与缓存加速
借助 Nx Cloud 实现项目协同与加速构建 1 ） 缓存工作原理分析 在了解了本地缓存和远程缓存之后，我们来探究缓存是如何工作的。以计算文件的哈希串为例，若后续运行任务时文件哈希串未变，系统会直接使用对应的输出和制品文件。 2 …...
Appium下载安装配置保姆教程（图文详解）
目录 一、Appium软件介绍 1.特点 2.工作原理 3.应用场景 二、环境准备 安装 Node.js 安装 Appium 安装 JDK 安装 Android SDK 安装Python及依赖包 三、安装教程 1.Node.js安装 1.1.下载Node 1.2.安装程序 1.3.配置npm仓储和缓存 1.4. 配置环境 1.5.测试Node.j…...
数据挖掘是什么？数据挖掘技术有哪些？
目录 一、数据挖掘是什么 二、常见的数据挖掘技术 1. 关联规则挖掘 2. 分类算法 3. 聚类分析 4. 回归分析 三、数据挖掘的应用领域 1. 商业领域 2. 医疗领域 3. 金融领域 4. 其他领域 四、数据挖掘面临的挑战和未来趋势 1. 面临的挑战 2. 未来趋势 五、总结 数据…...
Pandas 可视化集成：数据科学家的高效绘图指南
为什么选择 Pandas 进行数据可视化？ 在数据科学和分析领域，可视化是理解数据、发现模式和传达见解的关键步骤。Python 生态系统提供了多种可视化工具，如 Matplotlib、Seaborn、Plotly 等，但 Pandas 内置的可视化功能因其与数据结…...
20250609在荣品的PRO-RK3566开发板的Android13下解决串口可以执行命令但是脚本执行命令异常的问题
20250609在荣品的PRO-RK3566开发板的Android13下解决串口可以执行命令但是脚本执行命令异常的问题 2025/6/9 20:54 缘起，为了跨网段推流，千辛万苦配置好了网络参数。 但是命令iptables -t filter -F tetherctrl_FORWARD可以在调试串口/DEBUG口正确执行。…...