HDFS中snapshot快照机制
HDFS中snapshot快照机制
- 介绍
- 作用
- 功能实现
- 相关命令和操作
- 相关命令
介绍
- snapshot是数据存储的某一时刻的状态记录，备份（backup）则是数据存储的某一个时刻的副本
- HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像，该镜像并不会随着源目录的改变而进行动态的更新
作用
- 数据恢复
对重要的目录进行创建snapshot的操作，当用户误操作时，可以通过snapshot来进行相关的恢复操组 - 数据备份
使用snapshot来进行整个集群，或者某些目录，文件的备份。管理员以某个时刻的snapshot作为备份的起始节点，然后通过表不同备份之间的差异性，来进行备份增量。 - 数据测试
在某些重要数据上进行测试或者实验，可能会直接将原始的数据破坏掉。可以临时的为用户针对操作的数据来创建一个snapshot，然后让用户在对应的snapshot上进行相关的实验恶化测试，从而避免对原始数据的破坏
功能实现
- HDFS快照不是数据的简单拷贝，只做差异的记录
- 对于大多不变的数据，所看到的数据其实是当前物理路径所指的内容，而发生变更的inode数据才会被快照而外拷贝，也就是所说的差异拷贝
- inode指索引节点，用来存放文件及目录的基本信息，包含时间，名称，拥有者，所在组等
- HDFS快照不会复制datanode中的块，只记录块列表和文件的大小
- HDFS快照不会对常规HDFS操作产生不利影响，修改记录按逆时针顺序进行，因此可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据
相关命令和操作
- HDFS中可以针对整个文件系统或者某个目录创建快照，但是前提是相应的目录开启快照功能
- 如果针对没有启动快照功能的目录创建快照则会报错
- HDFS中可以针对已经开启快照功能的目录进行禁用快照功能的设置
- 禁用的前提是该目录所有的快照已经被删除
# 启用快照功能
hdfs dfsadmin -allowSnapshot .allenwoon
# 禁用快照功能
hdfs dfsadmin -disadminSnapshot /allenwoon
相关命令
相关文章：
HDFS中snapshot快照机制
HDFS中snapshot快照机制 介绍作用功能实现相关命令和操作相关命令 介绍 snapshot是数据存储的某一时刻的状态记录，备份（backup）则是数据存储的某一个时刻的副本HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像，该镜像…...
YOLOv5基础知识入门（5）— 损失函数（IoU、GIoU、DIoU、CIoU和EIoU）
前言：Hello大家好，我是小哥谈。使用YOLOv5训练模型阶段，需要用到损失函数。损失函数是用来衡量模型预测值和真实值不一样的程度，极大程度上决定了模型的性能。本节就给大家介绍IoU系列损失函数，希望大家学习之后能够有…...
Centos7源码安装redis
1、下载redis Index of /releases/ 2、解压redis tar -xvf redis-6.2.9.tar.gz 3、进入解压后的目录 cd redis-6.2.9/4、指定内存分配器为 libc make MALLOClibc 5、进入src目录，安装 cd src && make install6、运行 ./redis-server 7、添加开机…...
[静态时序分析简明教程(九)]多周期路径set_multicycle_path
静态时序分析简明教程-多周期路径 一、写在前面1.1 快速导航链接 二、多周期路径2.1 多周期路径的SDC命令2.2 路径常规约束2.3 建立/保持规格2.4 位移量2.5 多时钟周期案例 三、总结 一、写在前面 一个数字芯片工程师的核心竞争力是什么？不同的工程师可能给出不同的…...
Unity学习笔记--使用 C# 开发一个 LRU
目录 什么是 LRULRU 核心思想代码实现一：双向链表 哈希表分析代码实现二：OrderedDictionary分析项目案例预告结尾 什么是 LRU 在计算机系统中，LRU（Least Recently Used，最近最少使用）是一种缓存置换算法。…...
【一】初步认识数据库
数据库概览数据库 缘起表(Table)的理解用表来定义数据库数据库系统的理解概念层次的理解实例层次的理解 数据库管理系统的理解从用户角度看从系统实现角度看典型的数据库管理系统 数据库语言数据库定义、操纵、控制语言数据库语言 VS 高级语言 内容回顾练习 数据库概览 走马观…...
HTML ＜section＞ 标签
实例 文档中的区段，解释了 PRC： <section><h1>PRC</h1><p>The Peoples Republic of China was born in 1949...</p> </section>定义和用法 <section> 标签定义文档中的节（section、区段&#x…...
PHP 之房贷计算器、组合贷
一、等额本金 // （等额本金） //$loanAmount>贷款金额 //$loanPeriod>贷款年限 //$interestRate>贷款利息 function calculateEqualPrincipalPayment($loanAmount, $loanPeriod, $interestRate) {$monthlyPrincipal $loanAmount / ($loanPerio…...
解决Vue+Element UI使用表单rules国际化时From表单验证信息不能实时更新
说明：该篇博客是博主一字一码编写的，实属不易，请尊重原创，谢谢大家！ 博主在工作之余开始进行自动化测试平台的开发，虽然已经996一个月了但是还是在使劲挤时间做这件事情，目前平台使用前端框架vu…...
友善之臂NanoPi NEO利用fbtft驱动点亮1.69寸ST7789V2屏幕
屏幕介绍 本文以中景园1.69寸LCD，驱动芯片ST7789V2该款屏幕示例，屏幕的分辨率为240*280 屏幕引脚说明 NanoPi NEO IO介绍 屏幕与板子的IO连接关系 屏幕NanoPi NEOGNDGNDVCC3.3VSCLPC2SDAPC0RESPG11DCPA1CSPC3BLKPA0 下载交叉编译器和linux内核源码并按教…...
MFC第三十天 通过CToolBar类开发文字工具栏和工具箱、GDI+边框填充以及基本图形的绘制方法、图形绘制过程的反色线模型和实色模型
文章目录 CControlBar通过CToolBar类开发文字工具栏和工具箱CMainFrame.hCAppCMainFrm.cppCMainView.hCMainView.cppCEllipse.hCEllipse.cppCLine.hCLine.cppCRRect .hCRRect .cpp CControlBar class AFX_NOVTABLE CControlBar : public CWnd{DECLARE_DYNAMIC(CControlBar)pro…...
Android Https
本质：在客户端和服务端使用非对称加密协商出一套对称密钥，每次发送数据前加密，收到后解密，达到加密传输 http ssl 在http之下增加了安全层，用于保障http的加密传输 HTTPS连接 TLS连接步骤 1.客户端发送 client h…...
Games101学习笔记2
参考博客：GAMES101 梳理 / 个人向图形学笔记_games101笔记_river_of_sebajun的博客-CSDN博客 lecture 05 Rasterization 1(Triangles) 光栅化 把东西画在屏幕上的过程就是光栅化的过程 视口变换 为什么模型用三角形？ 最基本的几何平面；保…...
java字符串String类的常用方法
java字符串String类的常用方法 字符串的创建： (1)定义字符串直接赋值，在字符串池中开辟空间() String str1“Hello”;//在字符串池中写入字符串"hello" String str2“Hello”;//直接引用字符串池中的"Hello" System.out.println(s…...
自动化测试如何解决chrome自动更新问题
问题 调试好的自动化测试脚本，有时候总是在第一天或过几天就不好使了。产品并未进行功能逻辑，ui修改，一切还和调试自动化脚本的时候保持一致。运行自动化测试脚本时，控制台总是会在driver webdriver.Chrome()这一行报错。 问题…...
闲鱼卖货：新手容易踩坑的7个地方。赶紧看看有没有中招？
科思创业汇 大家好，这里是科思创业汇，一个轻资产创业孵化平台。赚钱的方式有很多种，我希望在科思创业汇能够给你带来最快乐的那一种！ 这是我以前的一个学生收到的第一个非法通知。他告诉我，他当时很害怕，…...
PowerShell 获取某目录下所有的文件、文件夹，同时对获取到的文件路径字符串进行替换处理
PowerShell 获取某目录下所有的文件、文件夹，同时对获取到的文件路径字符串进行替换处理 前言： 为了将Windows系统下的Java编译文件与linux服务器上的文件进行比较，故进行此文件路径的获取及路径处理。 在只有文件路径 而没有实际文件的情况下…...
JUC并发编程之线程锁（一）
目录 1.ReentrantLock(互斥锁) 2.ReentRantReaderWriterLock（互斥读写锁） 3.StampedLock（无障碍锁） 4.Condition（自定义锁） 5.LockSupport 问题引出： 由于传统的线程控制需要用到同步机制Sy…...
Android AlertDialog标题居中
网上很多做法都是使用setCustomTitle方法实现的，我偏不，因为我已经找到了标题的textView了： 在show了之后可以拿到标题（注意一定是show之后才能拿得到，create之后拿也是空的）： TextView title…...
k8s界面化平台dashboard、kubesphere、Rancher对比
k8s集群管理dashboard有很多，比如kuboard、官方发dashboard、kubesphere、Rancher等等。 Dashboard、KubeSphere 和 Rancher 都是流行的 Kubernetes 管理和操作界面。它们都提供了图形化的用户界面，以简化对 Kubernetes 集群的管理和监控。每个工具都有其…...
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...
微软PowerBI考试 PL300-选择 Power BI 模型框架【附练习数据】
微软PowerBI考试 PL300-选择 Power BI 模型框架 20 多年来，Microsoft 持续对企业商业智能 (BI) 进行大量投资。 Azure Analysis Services (AAS) 和 SQL Server Analysis Services (SSAS) 基于无数企业使用的成熟的 BI 数据建模技术。 同样的技术也是 Power BI 数据…...
UE5 学习系列（三）创建和移动物体
这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序
一、开发准备 环境搭建： 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 项目创建： File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...
376. Wiggle Subsequence
376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？
Otsu 是一种自动阈值化方法，用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理，能够自动确定一个阈值，将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...
【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分
一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计，提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合：各模块职责清晰，便于独立开发…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
SAP学习笔记 - 开发26 - 前端Fiori开发 OData V2 和 V4 的差异 (Deepseek整理）
上一章用到了V2 的概念，其实 Fiori当中还有 V4，咱们这一章来总结一下 V2 和 V4。 SAP学习笔记 - 开发25 - 前端Fiori开发 Remote OData Service(使用远端Odata服务)，代理中间件（ui5-middleware-simpleproxy）-CSDN博客…...