HDFS基本操作命令
这里写目录标题
- HDFS Shell CLI客户端
- 说明
- 常用命令
- hadoop fs -mkdir [-p] <path>
- hadoop fs -ls [-h] [-R] [<path>...]
- 上传文件到指定目录下
- 方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>
- 方法二：hadoop fs -moveFromLocal <localsrc>....<dst>
- 查看HDFS文件内容
- 方法一：hadoop fs -cat <src> ...
- 方法二：hadoop fs -head <file>
- 方法三：hadoop fs -tail [-f] <file>
- 下载文件
- 方法一：hadoop fs -get [-f] [-p] <src>...<localdst>
- 方法二：合并下载hdfs文件
- 拷贝文件
- 追加数据到hdfs文件中
- 查看hdfs磁盘空间
- 查看hdfs文件使用的空间
- hdfs数据移动操作
- 修改hdfs文件副本个数
HDFS Shell CLI客户端
说明
- hdfs shell cli支持操作多种文件系统，包括本地文件系统(file:///),分布式文件系统(hdfs:nn:8020)等
- 操作的是什么文件系统取决于URL种的前缀协议
- 如果没有指定前缀，则将会读取环境变量汇总的fs.defaultFS属性，以该属性作为默认文件系统
- hdfs dfs -ls file:/// #操作本地文件系统
- hdfs dfs -ls hdfs://node1:8020/ #草足hdfs分布式文件系统
- hdfs dfs -ls / #直接根目录，没有指定协议，将夹在读取fs.default FS
常用命令
hadoop fs -mkdir [-p]
path 为待创建的目录
-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录
hadoop fs -ls [-h] [-R] [ …]
path 指定目录路径
-h显示文件size
-R 递归查看指定目录及其子目录
上传文件到指定目录下
方法一:hadoop fs -put [-f] [-p] …
-f 覆盖目标文件（已经存在）
-p保留访问和修改时间，所有圈和权限
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS)
方法二：hadoop fs -moveFromLocal …
和-put功能一样，只不过上传结束，源数据会被删除
hadoop fs -moveFromLocal caixukun.csv /tmp/
查看HDFS文件内容
方法一：hadoop fs -cat …
读取指定文件全部内容，显示在标准输出控制台
注意：对于大文件内容读取，慎重
方法二：hadoop fs -head
查看文件前1kb的内容
hadoop fs -head /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv方法三：hadoop fs -tail [-f]
查看文件最后1kb的内容
-f选择可以动态显示文件中追加的内容
hadoop fs -tail -f /source/weibo/star/comment_log/29304839_node1.tcast.cn/caixukun.csv下载文件
方法一：hadoop fs -get [-f] [-p] …
下载文件到本地文件系统指定目录，localdst必须是目录
-f覆盖目标文件（已存在下）
-p保留访问和修改时间，所有权和权限
方法二：合并下载hdfs文件
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]
下载多个文件合并到本地文件系统的一个文本中
-n1选项表示在每个文件末尾添加换行符
拷贝文件
hadoop fs -cp [-f] …
-f覆盖目标文件<已存在下>
追加数据到hdfs文件中
hadooToFile …
dst如果文件不存在，将创建文件。
如果为空，则输入为从标准输入中读取
查看hdfs磁盘空间
hdaoop fs -df [-h] [
显示文件系统的容量，可用空间和已用空间
查看hdfs文件使用的空间
hadoop fs -du [-s] [-h]
-s：表示显示指定路径文件长度的汇总摘要，而不是单个文件的摘要
-h：选项将以“人类可读”的方式格式化文件大小
hadoop fs -du -s -h -v /source/weibo/
hdfs数据移动操作
hadoop fs -mv …
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称
修改hdfs文件副本个数
hadoop fs -setrep [R] [-w]
修改指定文件的副本数
-R表示递归 修改文件夹及其所有
-w客户端是否等待副本修改完毕
相关文章：
HDFS基本操作命令
这里写目录标题 HDFS Shell CLI客户端说明常用命令hadoop fs -mkdir [-p] <path>hadoop fs -ls [-h] [-R] [<path>...]上传文件到指定目录下方法一:hadoop fs -put [-f] [-p] <localsrc>.....<dst>方法二：hadoop fs -moveFromLocal <loc…...
git 实操
首先有安装好的git,安装好后,会在任一目录下右键出现git bash和git gui两个选项 打开git bash,设置好全局变量,用户名和邮箱,设置方法为: git config -- global user.name "xxx" git config --global user.email "xxxxxx.com" 1.创建版本库 git init 命…...
Visual Studio Code Python 扩展中的包管理
排版：Alan Wang Python 凭借其简单的语法和强大的库，目前已成为最流行的编程语言之一，也是最适合那些刚接触编程的人们的语言。但是，随着项目复杂性和规模的增长，管理依赖项的复杂性也会增加。当新用户不断承接更成熟的…...
spring学习笔记九
数据源对象管理 1、加入pom坐标 <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.1.16</version></dependency><!-- https://mvnrepository.com/artifact/c3p0/c3p0 --><depe…...
java list stream 使用
1、实现List对象集合的简单去重（distinct()） List<User> list list.stream().distinct().collect(Collectors.toList()); 2、实现List集合的根据属性（name）去重 list list.stream().filter(o -> o.getName() ! …...
两个Ubuntu电脑用SSH远程连接
两个Ubuntu电脑用SSH远程连接 1.ssh客户端及服务端的安装： 打开终端后，只需要以下两个命令即可 sudo apt-get install openssh-clientsudo apt-get install openssh-server2.启动ssh服务，执行以下命令： sudo /etc/init.d/ssh …...
讲解 @ServletComponentScan注解
目录: 1、用法介绍2、实例讲解 1、介绍 在SpringBoot项目启动器中添加ServletComponentScan注解后，SpringBoot在启动时会扫描并注册所有带有WebServlet（控制器）、WebFilter（过滤器）、WebListener（监听器&a…...
20款奔驰S350商务型加装原厂前排座椅通风系统，夏天必备的功能
通风座椅的主动通风功能可以迅速将座椅表面温度降至适宜程度，从而确保最佳座椅舒适性。该功能启用后，车内空气透过打孔皮饰座套被吸入座椅内部，持续时间为 8 分钟。然后，风扇会自动改变旋转方向，将更凉爽的环境空气从座…...
Rust vs Go:常用语法对比(十一)
题目来自 Rust Vs Go: Which Language Is Better For Developing High-Performance Applications?[1] 202. Sum of squares Calculate the sum of squares s of data, an array of floating point values. 计算平方和 package mainimport ( "math")func main() { da…...
Spring MVC拦截器和跨域请求
一、拦截器简介 SpringMVC的拦截器（Interceptor）也是AOP思想的一种实现方式。它与Servlet的过滤器（Filter）功能类似，主要用于拦截用户的请求并做相应的处理，通常应用在权限验证、记录请求信息的日志、判断用…...
C++初阶--C++入门
目录 前言C关键字命名空间命名空间的定义命名空间的使用加命名空间名称及作用域限定符使用using namespace 命名空间名称引入使用using将命名空间中的成员引入 C的输入与输出缺省参数全缺省半缺省参数 函数重载参数类型不同参数个数不同参数类型顺序不同 引用引用特性 常引用使…...
Matlab实现PID控制仿真（附上30个完整仿真源码+数据）
本文介绍了如何使用Matlab实现PID控制器的仿真。首先，我们将简要介绍PID控制器的原理和控制算法。然后，我们将使用Matlab编写一个简单的PID控制器，并使用仿真环境来验证其性能。最后，我们将通过调整PID控制器的参数来优化控制系统…...
微信小程序:文件下载
目录 第一步 请求资源 第二步 获取资源后写入到微信本地 获取资源 写入资源(wx.getFileSystemManager)writeFile 的api 第三步 读取资源(openDocument与saveImageToPhotosAlbum) 第一步 请求资源 下面是请求接口中的脚本内容 export let baseUrl http://192.168.78.112…...
QString和QByteArray的区别
QString和QByteArray的区别 本质格式转换QString字符串格式化打印长度 本质 QString是对QByteArray的再次封装 QString可以通过char*来构造，也可以通过QByteArray来构造 QByteArray就是char* QString是编码后的char* QString也是封装了字符串, 但是内部的编码为utf…...
Vue3 Vite electron 开发桌面程序
Electron是一个跨平台的桌面应用程序开发框架，它允许开发人员使用Web技术（如HTML、CSS和JavaScript）构建桌面应用程序，这些应用程序可以在Windows、macOS和Linux等操作系统上运行。 Electron的核心是Chromium浏览器内核和Node.js…...
【Nodejs】Express模板使用
1.Express脚手架的安装 安装Express脚手架有两种方式： 使用express-generator安装 使用命令行进入项目目录，依次执行： cnpm i -g express-generator可通过express -h查看命令行的指令含义 express -hUsage: express [options] [dir] Optio…...
【iOS】App仿写--管理系统
文章目录 前言一、账号界面二、功能界面三、添加功能四、删除功能五、更改功能六、查找功能七、排序功能八、退出功能总结 前言 在日常生活中，如果用文字来记述与管理我们数据会十分麻烦，并且人工成本较高，这里笔者给出一种管理系统的模版&a…...
JS实现队列的数据结构
创建queue.ts /*** 队列*/ export default class Queue<T> {private items: object;private count: number;private header: number;constructor() {this.items {};this.count this.header 0;}/*** 入队列* param element* returns 当前队列的数量*/enqueue(element:…...
title: 用 LangChain 构建基于资料库的问答机器人（四）：通过代理使用外部工具
上一篇教程我们介绍了 ReAct 系统，这是一个非常强大的行为模式，但它需要编写大量的示例来告诉 LLM 如何思考、行动，并且为了遵循这个模式，还需要编写代码来分析生成文字、调用函数、拼接 prompt 等，这些工作都是十分繁…...
使用 CSS 自定义属性
我们常见的网站日夜间模式的变化，其实用到了 css 自定义属性。 CSS 自定义属性（也称为 CSS 变量）是一种在 CSS 中预定义和使用的变量。它们提供了一种简洁和灵活的方式来通过多个 CSS 规则共享相同的值，使得样式更易于维护和修改。…...
遍历 Map 类型集合的方法汇总
1 方法一 先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...
第一篇：Agent2Agent (A2A) 协议——协作式人工智能的黎明
AI 领域的快速发展正在催生一个新时代，智能代理（agents）不再是孤立的个体，而是能够像一个数字团队一样协作。然而，当前 AI 生态系统的碎片化阻碍了这一愿景的实现，导致了“AI 巴别塔问题”——不同代理之间…...
工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...
安卓基础（aar）
重新设置java21的环境，临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的： MyApp/ ├── app/ …...
【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配
目录 一、C 内存的基本概念 1.1 内存的物理与逻辑结构 1.2 C 程序的内存区域划分 二、栈内存分配 2.1 栈内存的特点 2.2 栈内存分配示例 三、堆内存分配 3.1 new和delete操作符 4.2 内存泄漏与悬空指针问题 4.3 new和delete的重载 四、智能指针…...
虚拟电厂发展三大趋势：市场化、技术主导、车网互联
市场化：从政策驱动到多元盈利 政策全面赋能 2025年4月，国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》，首次明确虚拟电厂为“独立市场主体”，提出硬性目标：2027年全国调节能力≥2000万千瓦࿰…...
2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）
安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的----NTFS源代码分析--重要
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的 第一部分： 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…...
【p2p、分布式，区块链笔记 MESH】Bluetooth蓝牙通信 BLE Mesh协议的拓扑结构 定向转发机制
目录 节点的功能承载层（GATT/Adv）局限性： 拓扑关系定向转发机制定向转发意义 CG 节点的功能 节点的功能由节点支持的特性和功能决定。所有节点都能够发送和接收网格消息。节点还可以选择支持一个或多个附加功能，如 Configuration …...
如何应对敏捷转型中的团队阻力
应对敏捷转型中的团队阻力需要明确沟通敏捷转型目的、提升团队参与感、提供充分的培训与支持、逐步推进敏捷实践、建立清晰的奖励和反馈机制。其中，明确沟通敏捷转型目的尤为关键，团队成员只有清晰理解转型背后的原因和利益，才能降低对变化的…...