当前位置： 首页 > news >正文

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

news 文章来源：https://blog.csdn.net/wux_labs/article/details/132737606 2025/5/20 10:35:35

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

  • HBase从C50迁移到6.5.1（01）迁移概述
    • 迁移范围
    • 迁移前的准备
      • HDFS文件检查
      • 确认HBase迁移目录
      • 确保数据落盘
      • 停止老集群HBase服务
      • 停止新集群HBase服务

HBase从C50迁移到6.5.1（01）迁移概述

项目上最近全新部署了FusionInsight HD 6.5.1大数据集群，并且希望将老集群FusinInsight HD C50的所有业务都迁移到新集群上。由于在老集群C50上的HDFS、HBase中存在有大量的业务数据，因此将业务从C50迁移到6.5.1的过程中，就需要将C50上的业务数据同步迁移到新集群6.5.1上。

迁移范围

  • 迁移方向
    • 从老集群FusinInsight HD C50迁移数据到新集群FusionInsight HD 6.5.1。
  • 迁移场景
    • 生产实施，HDFS、HBase数据迁移。
  • 迁移方式
    • 离线迁移
  • 影响范围
    • 离线数据迁移，需要完成所有存量数据的迁移，迁移完成后做数据验证及业务切换。

迁移前的准备

在做数据迁移前需要做一些必要的准备工作。

使用admin用户登录到需要迁移数据的老集群FusinInsight C50的Manager。

登录成功后进入到Manager的主界面。

HDFS文件检查

在HDFS服务的status界面查看是否有missing block。

如果存在missing block，则需要登录集群客户端，执行命令：

hdfs fsck /

查看并分析具体的原因。

确认HBase迁移目录

迁移前还需要确认需要迁移的具体目录，可以通过HDFS Web UI进行查看。

以及：

各个目录的说明如下：

路径说明
/hbase/.tmp当对表做创建或者删除操作的时候，会将表move到该tmp目录下，然后再去做处理操作。
/hbase/WALs被HLog实例管理的WAL文件。
对于每个HregionServer，日志目录中都包含一个对应的子目录
在每个子目录下有多个HLog文件（因为日志滚动）。
/hbase/archive存储表的归档和快照，HBase在做Split或者compact操作完成之后，会将HFile移到archive目录中，然后将之前的HFile删除掉，该目录由HMaster上的一个定时任务定期去清理。存储表的归档和快照具体目录：/hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5
/hbase/corrupt损坏的日志文件，一般为空。
/hbase/dataHBase存储数据的核心目录。
/hbase/data/default该目录存储所有用户数据表/hbase/data/default/表名。
/hbase/data/hbase该目录存储了存储了HBase的namespace、meta和acl三个系统级表。
- /hbase/data/hbase/namespace
namespace中存储了HBase中的所有namespace信息，包括预置的hbase和default。
- /hbase/data/hbase/meta
meta表存储了所有Region信息的列表
- /hbase/data/hbase/acl
acl则是表的用户权限控制
/hbase/hbase.id集群的唯一ID。
/hbase/hbase.version集群的文件格式版本信息。
/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件中，不再需要日志文件时，它们会被移动到/hbase/oldWALs目录。

由于迁移过程只需要迁移HBase的数据，因此只需要迁移/hbase/data目录即可。

确保数据落盘

在数据迁移前，需要确保老集群FusinInsight HD C50上的HBase的所有表的数据已全部落入磁盘。

可以通过客户端，进入hbase shell客户端，对HBase的所有表都进行flush操作：

flush tablename

或者通过hdfs命令检查/hbase/WALs目录为空，或者大小为0：

hdfs dfs -du -h /hbase

停止老集群HBase服务

在迁移过程中，为了保证数据的完整性、一致性，防止因增量数据的产生而导致HDFS目录结构的变化，需要确保老集群FusinInsight HD C50上的HBase服务处于停止状态，因此，迁移时间点应该选在无业务数据产生的时间段。

停止新集群HBase服务

因为数据迁移会覆盖新集群FusinInsight HD 6.5.1上的HBase的数据，因此需要确保新集群的HBase的所有数据可删除、可覆盖，并且同样需要停止HBase服务。

使用admin用户登录到新集群FusinInsight HD 6.5.1的Manager，并在HBase服务界面，点击停止按钮停止HBase服务。

HBase服务停止后，点击完成按钮。

如果新集群中的HBase已经有数据，或者数据比较重要，也可以备份一下原有数据。

hdfs dfs -cp /hbase /hbase_bak
hdfs dfs -ls /hbase

备份完成后的文件如下：

至此，迁移前的准备工作就完成了，接下来就可以实施迁移工作。

相关文章：

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述 HBase从C50迁移到6.5.1（01）迁移概述迁移范围迁移前的准备HDFS文件检查确认HBase迁移目录确保数据落盘停止老集群HBase服务停止新集群HBase服务 HBase从C50迁移到6.5.1&a…...

编程日记 2023/9/8 22:16:52

ETCD集群搭建（实践可用）

概述 etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。 - 官方网址： Documentation versions | etcd 准备cfssl证书生成工具 cfssl是一个开源的证书管理工具，使用json文件生成证书. 在任意一…...

编程日记 2023/9/8 22:15:50

基于stm32f103rct6的呼吸灯实现

一、PWM 我们可以通过改变灯的有效电压占空比来实现呼吸灯效果。其中我们要用到PWM（脉宽调制），通过pwm我们可以来改变高电平的占空比 占空比：在一个周期中，高电平所占整个周期的百分比 具体如图： 当我们用…...

编程日记 2023/9/8 22:14:48

关于火绒邮件监控引起的扫描任意IP会有25和110端口反馈

之前测试过公司的外网IP，因为之前一直很注意对外映射的端口，都限制了可以访问的IP地址和端口，所以之前扫描的时候是一个端口都扫描不出来的。最近闲的无事，想着再扫描试试，结果发现居然开放了25和110端口，我…...

编程日记 2023/9/8 22:13:46

物联网应用中蓝牙模块怎么选？_蓝牙模块厂家

在蓝牙模块选型前期，一定要了解应用场景以及需要实现的功能（应用框图），以及功能实现过程中所能提供调用的接口（主从设备，功能），考虑模块供电，尺寸，接收灵敏度…...

编程日记 2023/9/8 22:12:46

Mysql远程登录报错：Host ‘192.168.137.1‘ is not allowed to connect to this MySQL server

连接失败是因为数据库没有对指定的ip的服务器地址的连接进行授权，许哦一需要先进行授权。 1. 改表 先登录登录数据库：mysql -u root -p mysql>use mysql;mysql>update user set host % where user root;mysql>FLUSH PRIVILEGES; 2.授权 …...

编程日记 2023/9/8 22:11:45

vue去掉循环数组中的最后一组的某个样式style/class

vue去掉循环数组中的最后一组的某个样式style/class 需求：要实现这样的排列 现状 发现，最后一个格子并没有跟下面绿色线对齐。 最后发现 是因为 每个格子都给了 margin-right：36px，影响到了最后一个格子 所以要 将最后一个格子的…...

编程日记 2023/9/8 22:10:44

Vue2面试题100问

Vue2面试题100问 Vue2面试题100问1.简述一下你对Vue的理解2.声明式和命令式编程概念的理解3.Vue 有哪些基本特征4.vue之防止页面加载时看到花括号解决方案有哪几种？5.Vue中v-for与v-if能否一起使用？6.vue中v-if与v-show的区别以及使用场景7.v-on可以监听…...

编程日记 2023/9/8 22:09:42

开机启动应用

windows 建立快捷方式 winr 输入shell:startup 将快捷方式复制进来 就可以了 如果你有ccleaner，也可以看到...

编程日记 2023/9/8 22:08:40

RK3588平台产测之ArmSoM-W3 DDR压力测试

1. 简介 RK3588从入门到精通 ArmSoM团队在产品量产之前都会对产品做几次专业化的功能测试以及性能压力测试，以此来保证产品的质量以及稳定性 优秀的产品都要进行多次全方位的功能测试以及性能压力测试才能够经得起市场的检验 2. 环境介绍 硬件环境： …...

编程日记 2023/9/8 22:07:39

springboot初试elasticsearch

引入依赖 elasticsearch的依赖版本与你elasticsearch要一致 <dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId> </dependency> 索引库的操作 创建索引库 impo…...

编程日记 2023/9/8 22:06:37

Node.js安装教程图文详解

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl 下载Node.js 请下载Node.js并保存至本地&#xff0c;官方网址&#xff1a;https://nodejs.org/zh-cn/ 在此&#xff0c;选择windows系统64位的16.13.1版本进行下载。 下载…...

编程日记 2023/9/8 22:05:35

laragon 为 php 安装 Xdebug 扩展

众所周知&#xff0c;php 自带的 var_dump() 输出格式很不直观 而 laragon 作为很好的 windos 下开发环境很受欢迎&#xff0c;本文就介绍如何快速为 laragon 的 php 安装 Xdebug&#xff0c;方便开发调试 一&#xff1a;启动开发环境&#xff0c;在任意可访问 php 页面中输出 …...

编程日记 2023/9/8 22:04:35

华为云 存在不支持迁移的外键解决方法

DRS 检测出源端存在不支持的外键引用操作 MySQL、GaussDB(for MySQL)为源的全量增量或增量迁移、同步场景&#xff0c;以及MySQL、GaussDB(for MySQL)为源灾备场景 表1 源端存在不支持的外键引用操作 预检查项 源端存在不支持的外键引用操作。 描述 同步对象中存在包含CASC…...

编程日记 2023/9/8 22:03:33

Linux 中的 cd 命令及示例

cd命令在Linux 中称为更改目录命令。它用于有效地从当前工作目录移动到系统中的不同目录。 Linux 中 `cd` 命令的语法 光盘[目录] cd [directory]在这里，将 [directory] ​​替换为您要导航到的目标目录的路径。 “cd”命令的实际实现与示例。...

编程日记 2023/9/8 22:02:32

【VUE】

概念 VUE是一个用于构建用户界面的渐进式框架 构建用户界面&#xff1a;基于数据渲染出用户看到的界面 渐进式&#xff1a;声明式渲染->组件系统->客户端路由->大规模状态管理->构建工具 框架&#xff1a;一套完整的项目解决方案 VUE使用方式&#xff1a; 1.…...

编程日记 2023/9/8 22:01:31

详解初阶数据结构之顺序表（SeqList）——单文件文件实现SeqList的增删查改

目录 一、线性表 二、顺序表 2.1概念及结构 2.2接口实现 2.3动态顺序表的创建 2.3动态顺序表的初始化 2.3.1传值初始化 2.3.2传址初始化 2.4动态顺序表的清空 2.5动态顺序表的扩容 2.6动态顺序表内容的打印 三、动态顺序表的使用 3.1尾插尾删 3.1.1尾插 3.1.2尾删…...

编程日记 2023/9/8 22:00:30

JavaScript中的深拷贝和浅拷贝

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 浅拷贝&#xff08;Shallow Copy&#xff09;&#xff1a;⭐深拷贝&#xff08;Deep Copy&#xff09;&#xff1a;⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带…...

编程日记 2023/9/8 21:59:27

树形结构的节点作为查询参数业务

1、业务描述 有一个树结构&#xff0c;存在一个唯一的code和一个父节点的pcode&#xff0c;要求前端传入任意层的code匹配这个code对应的所有子节点对应的数据。 2、解决思路 因为无法判定传入的code到底在那层&#xff0c;so 直接递归调用查询判断&#xff0c;如果有子节点就…...

编程日记 2023/9/8 21:58:26

sql：SQL优化知识点记录（十二）

&#xff08;1&#xff09;读锁案例讲解 加读锁和写锁 查看是否上锁&#xff1a;In_use&#xff1a;变成了1 读写锁对我们数据产生哪些影响&#xff1a; 读锁&#xff1a;是共享锁&#xff0c;其他线程可以查看&#xff1a; 加了读锁&#xff1a;session1不能修改自己&#xf…...

编程日记 2023/9/8 21:57:24

一.使用qt creator 设计显示GUI

一.安装qt creator 二.创建项目 文件-》新建项目 三.使用设计 可以直接使用鼠标拖拽 四.转换为py文件 # from123.py 为导出 py文件的文件名 form.ui 为 qt creator创造的 ui 文件 pyuic5 -o x:\xxx\from123.py form.ui五.显示GUI from PyQt5.QtWidgets import * fr…...

编程日记 2023/9/8 21:56:23

sql：SQL优化知识点记录（八）

&#xff08;1&#xff09;索引面试题分析 所谓索引&#xff1a;就是排好序的快速查找数据结构&#xff0c;排序家查找是索引的两个用途 select * 在where使用到了索引&#xff0c;当select * 有模糊查询%在左边索引会失效 当select * where后面索引的顺序发生变化&#xff0…...

编程日记 2023/9/8 21:55:22

java笔试题，寻找多出来的元素

题目&#xff1a;有两个数组a和b&#xff0c;其中b有一个元素是a没有的&#xff0c;其他元素都相同&#xff0c;请找出b中这个多余的元素。 1 public class Test02 { 2 3 public static void main(String[] args) { 4 int[] a {11, 34, 9, -4, 100, 98}; 5 int[] b {34…...

编程日记 2023/9/8 21:54:20

docker笔记3 Docker常规安装

1.安装tomcat docker hub上面查找tomcat镜像 docker search tomcat 从docker hub上拉取tomcat镜像到本地 docker pull tomcat docker images查看是否有拉取到的tomcat 使用tomcat镜像创建容器实例(也叫运行镜像) docker run -it -p 8080:8080 tomcat -p 小写&#xff0c;主…...

编程日记 2023/9/8 21:53:19

阻止 NTLM后无法登录远程桌面的原因

阻止 NTLM(NT LAN Manager) 攻击设置二 之前郑州景安的服务器被攻击&#xff0c;没过几天阿里云的也被攻击&#xff0c;且都是 NTLM 攻击。 Operating System: Windows Server 2008(R2) Enterprise Service Pack 1 64bit 一、winr 输入 gpedit.msc 二、依次进入&#xff1a;…...

编程日记 2023/9/8 21:52:17

Docker网络功能

基本网络功能 Docker 允许通过外部访问容器或容器互联的方式来提供网络服务。使用docker network子命令来管理Docker网络。 外部访问容器可通过端口映射实现&#xff0c;启动容器时使用-p参数指定映射关系。-p可多次使用来绑定多个端口。使用docker port命令查看当前映射的端…...

编程日记 2023/9/8 21:51:16

如何入门 AI----如何确定学习目标

当确定学习人工智能&#xff08;AI&#xff09;的目标时&#xff0c;可以考虑以下具体的步骤&#xff1a; 兴趣和好奇心&#xff1a; 首先&#xff0c;问问自己&#xff0c;您对哪些 AI 领域感兴趣&#xff1f;是机器学习、自然语言处理、计算机视觉&#xff0c;还是其他领域&a…...

编程日记 2023/9/8 21:50:15

ABAP中加前导零和去前导零方法

文章目录 1 Introduction2 Method 1 Introduction In the sap there are two method for leading zero. We can use function or use the below the method . 2 Method SELECT * INTO TABLE DATA(IT_ITEM)FROM MARA .LOOP AT IT_ITEM ASSIGNING FIELD-SYMBOL(<FS_DATA&g…...

编程日记 2023/9/8 21:49:12

聊聊ShardingSphere是怎么进行sql重写的

序 本文主要研究一下ShardingSphere进行sql重写的原理 prepareStatement org/apache/shardingsphere/driver/jdbc/core/connection/ShardingSphereConnection.java public final class ShardingSphereConnection extends AbstractConnectionAdapter {Overridepublic Prepar…...

编程日记 2023/9/8 21:48:11

软件设计模式系列之二——抽象工厂模式

1 抽象工厂模式的定义 抽象工厂模式是一种创建型设计模式&#xff0c;它提供了一种创建一组相关或相互依赖对象的方式&#xff0c;而无需指定它们的具体类。该模式以一组抽象接口为核心&#xff0c;包括抽象工厂接口和一组抽象产品接口&#xff0c;每个具体工厂类负责创建特定…...

编程日记 2023/9/8 21:47:10