当前位置: 首页 > news >正文

分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据?

hbase+hive分布式存储数据恢复环境:
16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库+hive数据仓库。

hbase+hive分布式存储故障&初检:
数据库文件被误删除,数据库无法使用。
通过现场对该分布式环境的初步检测,发现虚拟机还可以正常启动,虚拟机里面的数据库块文件丢失。好在块文件丢失之后没有对集群环境写入数据,底层数据损坏可能性比较小。


    
hbase+hive分布式存储数据恢复方案:
1、备份。
A、从物理服务器底层做备份,将设备断电、关机。将所有磁盘编号后从服务器/存储中取出。
B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。
C、北亚企安数据恢复中心准备一台服务器以只读方式挂载服务器硬盘,对所有磁盘进行扇区对扇区的全盘镜像备份。
D、备份完成后提供详细报告,内容涉及所有磁盘的健康状态和存在的坏道列表。
E、将服务器硬盘按照编号还原到原服务器/存储设备中,之后数据分析和数据恢复操作都基于镜像文件进行,避免对原始磁盘数据造成二次破坏。

2、基于镜像文件分析块文件结构。
A、分析每个虚拟机磁盘的块文件。
B、分析文件底层的聚合方式。
C、分析磁盘中数据分布情况。

3、分析Block文件key。
A、定位数据库文件中的key信息。
B、提取并解析数据库文件中key信息。
C、整合数据库文件key信息。

4、拼接Block文件。
A、根据Block文件的key信息提取文件片段。
B、拼接Block文件的片段。
C、校验拼接后的Block文件的正确性。

5、导入Block文件。
A、校验提取出来的Block文件完整性和正确性。
B、把提取出来的Block文件导入到hbase和hive数据仓库中。

6、验证数据。
由用户对数据进行详细验证。如果发现问题则重新检验上面的恢复流程。

相关文章:

分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据?

hbasehive分布式存储数据恢复环境: 16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库hive数据仓库。 hbasehive分布式存储故障&初检: 数据库文件被误删除…...

安卓系统修图软件(一)

平时我们会不时在朋友圈发自己的自拍照,或者是风景图等,许多小伙伴们此时会对照片进行一定的修理,比如添加滤镜等操作。在电脑上用ps修图比较繁琐,日常中大可不必用这把宰牛刀;而手机自带的编辑器,或者是QQ…...

截图转HTML代码,支持预览,前端不用浪费时间写html和css了

截图转代码 试用地址:https://picoapps.xyz/free-tools/screenshot-to-code 这个简单的应用可以将截图转换为HTML/Tailwind CSS代码。它使用GPT-4 Vision来生成代码,并使用DALL-E 3来生成类似的图像。现在你也可以输入一个URL来克隆一个现有的网站&#…...

Vite CSS Module 优雅的处理样式隔离

今天介绍的是我写的一个vite插件vite-plugin-oneof-css-module,该插件主要处理scss module,那它适用于什么场景呢? 1. 最大的特点就是使用scss module 可以不用写 .module.scss 了 2. 可以根据不同的文件夹或文件分别进行不同的处理&#x…...

基于Springboot+Vue选课系统

选课系统要求 (1)数据库表:教师信息表、学生信息表、课程表、选课表 其中,教师信息表、学生信息表和选课表的数据需要提前设置,本题主要操作课程表 (2) 技术架构: 后台使用springboot 前端使用vue-admin-template (3) 考试时间&…...

智能汽车十大网络安全攻击场景-《智能汽车网络安全权威指南》

引言 大家都很熟悉OWASP Top 10风险报告,这个报告不但总结了Web应用程序最可能、最常见、最危险的10大安全隐患,还包括了如何消除这些隐患的建议,这个“OWASP Top 10“差不多每隔三年更新一次。目前汽车网络安全攻击威胁隐患繁多&#xff0c…...

递归方法来计算二叉树的双分支节点个数

1.递归方法来计算二叉树的双分支节点个数 首先&#xff0c;你需要定义二叉树的节点结构&#xff0c;然后编写递归函数 #include <stdio.h> #include <stdlib.h>// 定义二叉树的节点结构 struct TreeNode {int value;struct TreeNode* left;struct TreeNode* righ…...

INFLOW:用于检测隐藏服务器的反向网络流水印

文章信息 论文题目&#xff1a;INFLOW: Inverse Network Flow Watermarking for Detecting Hidden Servers 期刊&#xff08;会议&#xff09;&#xff1a;IEEE INFOCOM 2018 - IEEE Conference on Computer Communications 时间&#xff1a;2018 级别&#xff1a;CCF A 文章链…...

社区物联网云服务架构设计

文章目录 1 摘要2 架构图2.1 社区物联网云服务网络拓扑图2.2 社区物联网云服务通讯流程图2.3 社区远程开锁功能流程图 3 应用场景 1 摘要 随着社区管理越来越智能化&#xff0c;社区物联网升级与改造的市场空间也越来越大。社区物联网包含楼宇对讲、门禁门锁、通道闸等等设备系…...

Linux - 文件系统 - 理解目录 - 理解 软/硬链接

前言 在上篇博客当中&#xff0c;我们对 文件系统 和 inode 做了初步了解&#xff0c;本博客将在上篇博客的基础之上&#xff0c;对于 文件系统当中的目录进行进步一阐述。 Linux - 进一步理解 文件系统 - inode - 机械硬盘-CSDN博客 目录 一个文件有一个 inode&#xff0c;…...

Springboot websocket前端无法访问到,Websocket因AOP代理 前端无法请求到

Springboot websocket前端无法访问到&#xff0c;Websocket因AOP代理 前端无法请求到 问题出现 在我后端springboot启动后&#xff0c;前端无法请求websocket请求连接到我们websocket服务器。 想要的效果 在我后端springboot启动后&#xff0c;前端可以请求到我们websocket…...

基于高质量训练数据,GPT-4 Turbo更出色更强大

11月7日消息&#xff0c;OpenAI在首届开发者大会上正式推出了GPT-4 Turbo。 与GPT-4相比&#xff0c;GPT-4 Turbo主要有6方面的提升&#xff1a; 1、扩展下文对话长度&#xff1a;GPT4最大只能支持8k的上下文长度&#xff08;约等于6000个单词&#xff09;&#xff0c;而GPT-4…...

jenkins + gitlab 自动部署(webhook)

Jenkins是一个流行的开源CI/CD工具&#xff0c;可以与Git等版本控制系统集成&#xff0c;实现自动构建、测试和部署。Webhook是一种机制&#xff0c;可以在Git仓库中设置&#xff0c;在代码提交或合并请求时触发Jenkins构建任务&#xff0c;以完成自动化部署。 实操 设备信息 …...

【数据集】全网最全的常见已公开医学影像数据集

目录 一&#xff0c;极市医学数据集汇总 1.CT 医学图像 ​编辑 2.恶性与良性皮肤癌 3.白内障数据集 4.胸部 X 光图像&#xff08;肺炎&#xff09; 5.用于图像增强的内窥镜真实合成曝光过度和曝光不足帧 6.医学家 7.乳房组织病理学图像 8.皮肤癌 MNIST&#xff1a;HA…...

图形数据库的实战应用:如何在 Neo4j 中有效管理复杂关系

关系数据库管理系统( RDBMS ) 代表了最先进的技术&#xff0c;这在一定程度上要归功于其由周边技术、工具和广泛的专业技能组成的完善的生态系统。 在这个涵盖信息技术(IT) 和运营技术(OT) 的技术革命时代&#xff0c;人们普遍认识到性能方面出现了重大挑战&#xff0c;特别是…...

Linux内核中的overlay文件系统

一、简介 Docker 内核实现容器的功能用了linux 内核中的三个特性 Namespace、Cgroup、UnionFs&#xff0c;今天我们来说一下UnionFs。 linux UnionFs 实现的是overlay 文件系统 OverlayFs 文件系统分为三层&#xff0c; lower 是只读层 Upper 是可读写 Merged 是 lower 和U…...

archery修改为不能自提自审核上线SQL

目录 背景修改代码效果参考 背景 我和同事都可以提交上线SQL&#xff0c;但是不能自己提交的SQL自己去审核通过。目前的情况是可以自提自审。 修改代码 找到/opt/archery/sql/utils/workflow_audit.py文件 ...省略...# 判断用户当前是否是可审核staticmethoddef can_revie…...

如何处理git多分支

本篇文章主要处理以下两种多分支问题 如何将自己在本地的修改上传到一个新的Git分支&#xff08;比如用于测试&#xff0c;不合并进main分支&#xff09;&#xff1f;如何在一个新的本地仓库拉取一个项目的非main分支&#xff0c;并处理他们关联关系&#xff1f; 1. 将自己在…...

Proteus仿真--基于DS1302与数码管设计的可调电子钟

本文主要介绍基于51单片机的DS1302的可调式电子钟实验&#xff08;完整仿真源文件及代码见文末链接&#xff09; 仿真图如下 其中数码管显示电子钟时间信息&#xff0c;按键用于调节时间&#xff0c;时间芯片选用DS1302芯片 仿真运行视频 Proteus仿真--基于DS1302与数码管设…...

ESP32网络开发实例-远程Web串口监视器

远程Web串口监视器 文章目录 远程Web串口监视器1、应用介绍2、软件准备3、硬件准备4、代码实现在本文中,我们将构建一个 ESP32 网络服务器,用作远程串行监视器。 基于 Web 的串行监视器的工作方式与通常用于调试目的的 Arduino IDE 串行监视器的工作方式相同。 1、应用介绍 …...

[CentOS 7实战] 从零部署高可用TeamSpeak语音服务器

1. 环境准备与基础配置 在CentOS 7上部署TeamSpeak服务器前&#xff0c;需要做好充分的环境准备。我建议使用至少2核4G配置的云服务器&#xff0c;实测这个配置可以稳定支持50人同时在线的语音通信。如果是大型游戏社区使用&#xff0c;建议选择4核8G以上的配置。 首先需要检查…...

SSD-PyTorch训练自定义数据集避坑指南:从VOC格式准备到模型调参全流程

SSD-PyTorch实战&#xff1a;自定义数据集训练避坑与性能优化全解析 第一次用SSD训练自己的目标检测模型时&#xff0c;我盯着报错信息发呆了半小时——明明按照教程操作&#xff0c;却在数据加载环节卡住。后来才发现是PyTorch版本差异导致的API变更。这种"看似简单实则暗…...

别再死记硬背了!用Arduino和STM32的实例,带你搞懂冯诺依曼与哈佛结构到底差在哪

从Arduino到STM32&#xff1a;动手实验揭开哈佛与冯诺依曼架构的神秘面纱 第一次接触嵌入式开发时&#xff0c;我对着Arduino Uno和STM32开发板发呆——为什么同样的闪烁LED代码&#xff0c;在两种板子上会有不同的性能表现&#xff1f;直到某天用逻辑分析仪捕捉到内存访问波形…...

罗技PUBG鼠标宏技术解析:5分钟掌握智能压枪核心原理

罗技PUBG鼠标宏技术解析&#xff1a;5分钟掌握智能压枪核心原理 【免费下载链接】logitech-pubg PUBG no recoil script for Logitech gaming mouse / 绝地求生 罗技 鼠标宏 项目地址: https://gitcode.com/gh_mirrors/lo/logitech-pubg 绝地求生&#xff08;PUBG&#…...

5步完成AI模型部署:DeepStream-Yolo实战终极指南

5步完成AI模型部署&#xff1a;DeepStream-Yolo实战终极指南 【免费下载链接】DeepStream-Yolo NVIDIA DeepStream SDK 8.0 / 7.1 / 7.0 / 6.4 / 6.3 / 6.2 / 6.1.1 / 6.1 / 6.0.1 / 6.0 / 5.1 implementation for YOLO models 项目地址: https://gitcode.com/gh_mirrors/de/…...

GHelper完整指南:3分钟掌握华硕笔记本轻量控制工具,彻底告别臃肿系统

GHelper完整指南&#xff1a;3分钟掌握华硕笔记本轻量控制工具&#xff0c;彻底告别臃肿系统 【免费下载链接】g-helper Lightweight, open-source control tool for ASUS laptops and ROG Ally. Manage performance modes, fans, GPU, battery, and RGB lighting across Zephy…...

别再死记硬背了!用Python和C语言两种方式,彻底搞懂CRC32查表法里的反转(附完整代码)

深入解析CRC32查表法&#xff1a;Python与C语言实现中的反转机制 在数据校验领域&#xff0c;CRC32算法因其高效性和可靠性被广泛应用于文件校验、网络传输等场景。但许多开发者在实现过程中&#xff0c;常被"反转"这个概念困扰——为什么同样的数据在不同实现中会得…...

ENVI 5.3 实战:手把手教你用Landsat 7数据反演城市热岛效应(附完整Band Math公式)

ENVI 5.3实战&#xff1a;城市热岛效应分析的完整技术路线与创新应用 城市热岛效应是当代城市规划与环境监测领域的重要课题。当我们在ENVI软件中打开一张Landsat 7影像时&#xff0c;那些看似普通的像素值背后隐藏着城市热环境的秘密。本文将带您走完从原始数据到热岛分析的全…...

终极免费云顶之弈辅助工具:TFT Overlay完全使用指南

终极免费云顶之弈辅助工具&#xff1a;TFT Overlay完全使用指南 【免费下载链接】TFT-Overlay Overlay for Teamfight Tactics 项目地址: https://gitcode.com/gh_mirrors/tf/TFT-Overlay 你是否在玩云顶之弈时经常忘记装备合成公式&#xff1f;是否因为复杂的羁绊组合而…...

心跳反复加载 LM Studio 模型导致不完整回合 / Heartbeat repeatedly loads LM Studio model, ends in incomplete turn

Bug 报告:心跳反复加载 LM Studio 模型导致不完整回合 / Heartbeat repeatedly loads LM Studio model, ends in incomplete turn 链接: https://blog.csdn.net/cosmoslife 作者: cosmoslife 日期: 2026/04/18 11:15:30 仓库: openclaw/openclaw 创建时间: 2026-04-18 | 关闭时…...