当前位置： 首页 > news >正文

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

news 2026/5/21 19:04:34

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

  • HBase从C50迁移到6.5.1（01）迁移概述
    • 迁移范围
    • 迁移前的准备
      • HDFS文件检查
      • 确认HBase迁移目录
      • 确保数据落盘
      • 停止老集群HBase服务
      • 停止新集群HBase服务

HBase从C50迁移到6.5.1（01）迁移概述

项目上最近全新部署了FusionInsight HD 6.5.1大数据集群，并且希望将老集群FusinInsight HD C50的所有业务都迁移到新集群上。由于在老集群C50上的HDFS、HBase中存在有大量的业务数据，因此将业务从C50迁移到6.5.1的过程中，就需要将C50上的业务数据同步迁移到新集群6.5.1上。

迁移范围

  • 迁移方向
    • 从老集群FusinInsight HD C50迁移数据到新集群FusionInsight HD 6.5.1。
  • 迁移场景
    • 生产实施，HDFS、HBase数据迁移。
  • 迁移方式
    • 离线迁移
  • 影响范围
    • 离线数据迁移，需要完成所有存量数据的迁移，迁移完成后做数据验证及业务切换。

迁移前的准备

在做数据迁移前需要做一些必要的准备工作。

使用admin用户登录到需要迁移数据的老集群FusinInsight C50的Manager。

登录成功后进入到Manager的主界面。

HDFS文件检查

在HDFS服务的status界面查看是否有missing block。

如果存在missing block，则需要登录集群客户端，执行命令：

hdfs fsck /

查看并分析具体的原因。

确认HBase迁移目录

迁移前还需要确认需要迁移的具体目录，可以通过HDFS Web UI进行查看。

以及：

各个目录的说明如下：

路径说明
/hbase/.tmp当对表做创建或者删除操作的时候，会将表move到该tmp目录下，然后再去做处理操作。
/hbase/WALs被HLog实例管理的WAL文件。
对于每个HregionServer，日志目录中都包含一个对应的子目录
在每个子目录下有多个HLog文件（因为日志滚动）。
/hbase/archive存储表的归档和快照，HBase在做Split或者compact操作完成之后，会将HFile移到archive目录中，然后将之前的HFile删除掉，该目录由HMaster上的一个定时任务定期去清理。存储表的归档和快照具体目录：/hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5
/hbase/corrupt损坏的日志文件，一般为空。
/hbase/dataHBase存储数据的核心目录。
/hbase/data/default该目录存储所有用户数据表/hbase/data/default/表名。
/hbase/data/hbase该目录存储了存储了HBase的namespace、meta和acl三个系统级表。
- /hbase/data/hbase/namespace
namespace中存储了HBase中的所有namespace信息，包括预置的hbase和default。
- /hbase/data/hbase/meta
meta表存储了所有Region信息的列表
- /hbase/data/hbase/acl
acl则是表的用户权限控制
/hbase/hbase.id集群的唯一ID。
/hbase/hbase.version集群的文件格式版本信息。
/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件中，不再需要日志文件时，它们会被移动到/hbase/oldWALs目录。

由于迁移过程只需要迁移HBase的数据，因此只需要迁移/hbase/data目录即可。

确保数据落盘

在数据迁移前，需要确保老集群FusinInsight HD C50上的HBase的所有表的数据已全部落入磁盘。

可以通过客户端，进入hbase shell客户端，对HBase的所有表都进行flush操作：

flush tablename

或者通过hdfs命令检查/hbase/WALs目录为空，或者大小为0：

hdfs dfs -du -h /hbase

停止老集群HBase服务

在迁移过程中，为了保证数据的完整性、一致性，防止因增量数据的产生而导致HDFS目录结构的变化，需要确保老集群FusinInsight HD C50上的HBase服务处于停止状态，因此，迁移时间点应该选在无业务数据产生的时间段。

停止新集群HBase服务

因为数据迁移会覆盖新集群FusinInsight HD 6.5.1上的HBase的数据，因此需要确保新集群的HBase的所有数据可删除、可覆盖，并且同样需要停止HBase服务。

使用admin用户登录到新集群FusinInsight HD 6.5.1的Manager，并在HBase服务界面，点击停止按钮停止HBase服务。

HBase服务停止后，点击完成按钮。

如果新集群中的HBase已经有数据，或者数据比较重要，也可以备份一下原有数据。

hdfs dfs -cp /hbase /hbase_bak
hdfs dfs -ls /hbase

备份完成后的文件如下：

至此，迁移前的准备工作就完成了，接下来就可以实施迁移工作。

相关文章：

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述 HBase从C50迁移到6.5.1（01）迁移概述迁移范围迁移前的准备HDFS文件检查确认HBase迁移目录确保数据落盘停止老集群HBase服务停止新集群HBase服务 HBase从C50迁移到6.5.1&a…...

编程日记 2023/9/8 22:16:52

ETCD集群搭建（实践可用）

概述 etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。 - 官方网址： Documentation versions | etcd 准备cfssl证书生成工具 cfssl是一个开源的证书管理工具，使用json文件生成证书. 在任意一…...

编程日记 2023/9/8 22:15:50

基于stm32f103rct6的呼吸灯实现

一、PWM 我们可以通过改变灯的有效电压占空比来实现呼吸灯效果。其中我们要用到PWM（脉宽调制），通过pwm我们可以来改变高电平的占空比 占空比：在一个周期中，高电平所占整个周期的百分比 具体如图： 当我们用…...

编程日记 2023/9/8 22:14:48

关于火绒邮件监控引起的扫描任意IP会有25和110端口反馈

之前测试过公司的外网IP，因为之前一直很注意对外映射的端口，都限制了可以访问的IP地址和端口，所以之前扫描的时候是一个端口都扫描不出来的。最近闲的无事，想着再扫描试试，结果发现居然开放了25和110端口，我…...

编程日记 2023/9/8 22:13:46

物联网应用中蓝牙模块怎么选？_蓝牙模块厂家

在蓝牙模块选型前期，一定要了解应用场景以及需要实现的功能（应用框图），以及功能实现过程中所能提供调用的接口（主从设备，功能），考虑模块供电，尺寸，接收灵敏度…...

编程日记 2023/9/8 22:12:46

Mysql远程登录报错：Host ‘192.168.137.1‘ is not allowed to connect to this MySQL server

连接失败是因为数据库没有对指定的ip的服务器地址的连接进行授权，许哦一需要先进行授权。 1. 改表 先登录登录数据库：mysql -u root -p mysql>use mysql;mysql>update user set host % where user root;mysql>FLUSH PRIVILEGES; 2.授权 …...

编程日记 2023/9/8 22:11:45

vue去掉循环数组中的最后一组的某个样式style/class

vue去掉循环数组中的最后一组的某个样式style/class 需求：要实现这样的排列 现状 发现，最后一个格子并没有跟下面绿色线对齐。 最后发现 是因为 每个格子都给了 margin-right：36px，影响到了最后一个格子 所以要 将最后一个格子的…...

编程日记 2023/9/8 22:10:44

Vue2面试题100问

Vue2面试题100问 Vue2面试题100问1.简述一下你对Vue的理解2.声明式和命令式编程概念的理解3.Vue 有哪些基本特征4.vue之防止页面加载时看到花括号解决方案有哪几种？5.Vue中v-for与v-if能否一起使用？6.vue中v-if与v-show的区别以及使用场景7.v-on可以监听…...

编程日记 2023/9/8 22:09:42

开机启动应用

windows 建立快捷方式 winr 输入shell:startup 将快捷方式复制进来 就可以了 如果你有ccleaner，也可以看到...

编程日记 2023/9/8 22:08:40

RK3588平台产测之ArmSoM-W3 DDR压力测试

1. 简介 RK3588从入门到精通 ArmSoM团队在产品量产之前都会对产品做几次专业化的功能测试以及性能压力测试，以此来保证产品的质量以及稳定性 优秀的产品都要进行多次全方位的功能测试以及性能压力测试才能够经得起市场的检验 2. 环境介绍 硬件环境： …...

编程日记 2023/9/8 22:07:39

springboot初试elasticsearch

引入依赖 elasticsearch的依赖版本与你elasticsearch要一致 <dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId> </dependency> 索引库的操作 创建索引库 impo…...

编程日记 2023/9/8 22:06:37

Node.js安装教程图文详解

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl 下载Node.js 请下载Node.js并保存至本地&#xff0c;官方网址&#xff1a;https://nodejs.org/zh-cn/ 在此&#xff0c;选择windows系统64位的16.13.1版本进行下载。 下载…...

编程日记 2023/9/8 22:05:35

laragon 为 php 安装 Xdebug 扩展

众所周知&#xff0c;php 自带的 var_dump() 输出格式很不直观 而 laragon 作为很好的 windos 下开发环境很受欢迎&#xff0c;本文就介绍如何快速为 laragon 的 php 安装 Xdebug&#xff0c;方便开发调试 一&#xff1a;启动开发环境&#xff0c;在任意可访问 php 页面中输出 …...

编程日记 2023/9/8 22:04:35

华为云 存在不支持迁移的外键解决方法

DRS 检测出源端存在不支持的外键引用操作 MySQL、GaussDB(for MySQL)为源的全量增量或增量迁移、同步场景&#xff0c;以及MySQL、GaussDB(for MySQL)为源灾备场景 表1 源端存在不支持的外键引用操作 预检查项 源端存在不支持的外键引用操作。 描述 同步对象中存在包含CASC…...

编程日记 2023/9/8 22:03:33

Linux 中的 cd 命令及示例

cd命令在Linux 中称为更改目录命令。它用于有效地从当前工作目录移动到系统中的不同目录。 Linux 中 `cd` 命令的语法 光盘[目录] cd [directory]在这里，将 [directory] ​​替换为您要导航到的目标目录的路径。 “cd”命令的实际实现与示例。...

编程日记 2023/9/8 22:02:32

【VUE】

概念 VUE是一个用于构建用户界面的渐进式框架 构建用户界面&#xff1a;基于数据渲染出用户看到的界面 渐进式&#xff1a;声明式渲染->组件系统->客户端路由->大规模状态管理->构建工具 框架&#xff1a;一套完整的项目解决方案 VUE使用方式&#xff1a; 1.…...

编程日记 2023/9/8 22:01:31

详解初阶数据结构之顺序表（SeqList）——单文件文件实现SeqList的增删查改

目录 一、线性表 二、顺序表 2.1概念及结构 2.2接口实现 2.3动态顺序表的创建 2.3动态顺序表的初始化 2.3.1传值初始化 2.3.2传址初始化 2.4动态顺序表的清空 2.5动态顺序表的扩容 2.6动态顺序表内容的打印 三、动态顺序表的使用 3.1尾插尾删 3.1.1尾插 3.1.2尾删…...

编程日记 2023/9/8 22:00:30

JavaScript中的深拷贝和浅拷贝

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 浅拷贝&#xff08;Shallow Copy&#xff09;&#xff1a;⭐深拷贝&#xff08;Deep Copy&#xff09;&#xff1a;⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带…...

编程日记 2023/9/8 21:59:27

树形结构的节点作为查询参数业务

1、业务描述 有一个树结构&#xff0c;存在一个唯一的code和一个父节点的pcode&#xff0c;要求前端传入任意层的code匹配这个code对应的所有子节点对应的数据。 2、解决思路 因为无法判定传入的code到底在那层&#xff0c;so 直接递归调用查询判断&#xff0c;如果有子节点就…...

编程日记 2023/9/8 21:58:26

sql：SQL优化知识点记录（十二）

&#xff08;1&#xff09;读锁案例讲解 加读锁和写锁 查看是否上锁&#xff1a;In_use&#xff1a;变成了1 读写锁对我们数据产生哪些影响&#xff1a; 读锁&#xff1a;是共享锁&#xff0c;其他线程可以查看&#xff1a; 加了读锁&#xff1a;session1不能修改自己&#xf…...

编程日记 2023/9/8 21:57:24

高校生最适用的AI论文网站是哪款？

国内高校学生在论文写作中越来越依赖AI工具&#xff0c;目前主流方案以本土化全流程工具为核心&#xff0c;结合通用大模型与专业辅助工具&#xff0c;覆盖选题构思、框架搭建、初稿撰写、内容降重、查重检测以及格式排版等关键环节&#xff0c;以下将深入解析并对比当前最适配…...

编程新知 2026/5/21 17:38:57

Python之rf-phate包语法、参数和实际应用案例

一、RF‑PHATE 包核心功能 RF‑PHATE 是一个有监督降维与可视化包&#xff0c;核心是把随机森林&#xff08;RF&#xff09;特征重要性与 PHATE&#xff08;基于热扩散的流形嵌入&#xff09; 结合&#xff0c;生成标签导向的低维嵌入&#xff0c;凸显与响应变量相关的结构、抑…...

编程新知 2026/5/21 17:07:30

clawPDF脚本自动化：如何用Python和PowerShell批量处理PDF文档的终极指南

clawPDF脚本自动化&#xff1a;如何用Python和PowerShell批量处理PDF文档的终极指南 【免费下载链接】clawPDF Open Source Virtual (Network) Printer for Windows that allows you to create PDFs, OCR text, and print images, with advanced features usually available on…...

编程新知 2026/5/21 15:44:01

10个Tunasync配置技巧：从基础到高级应用

10个Tunasync配置技巧&#xff1a;从基础到高级应用 【免费下载链接】tunasync Mirror job management tool. 项目地址: https://gitcode.com/gh_mirrors/tu/tunasync Tunasync 是一款强大的镜像作业管理工具&#xff0c;能够帮助用户轻松配置和管理各种镜像同步任务。…...

编程新知 2026/5/21 15:37:51

OpCore-Simplify：开源系统硬件适配的自动化配置引擎

OpCore-Simplify&#xff1a;开源系统硬件适配的自动化配置引擎 【免费下载链接】OpCore-Simplify A tool designed to simplify the creation of OpenCore EFI 项目地址: https://gitcode.com/GitHub_Trending/op/OpCore-Simplify 在跨平台系统部署领域&#xff0c;硬件…...

编程新知 2026/5/21 15:16:27

【权威实测报告】：在137组对比测试中，仅2组prompt达成Apple Human Interface Guidelines认证级毛玻璃效果（附完整prompt审计清单）

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;【权威实测报告】&#xff1a;在137组对比测试中&#xff0c;仅2组prompt达成Apple Human Interface Guidelines认证级毛玻璃效果&#xff08;附完整prompt审计清单&#xff09; 为验证当前主流AI图像生成模型…...

编程新知 2026/5/21 14:51:19

Vulhub 中的 Cacti-CVE-2025-24367

0x00 前言先看结果吧&#xff0c;复现是成功了&#xff0c;但是没拿到shell&#xff0c;和我想的不一样。漏洞原理&#xff1a;Cacti是一款利用RRDTool数据存储和图形化功能的完整网络图形化解决方案。在Cacti 1.2.28及以前版本中存在一个命令注入漏洞&#xff0c;该漏洞允许已…...

编程新知 2026/5/21 14:26:06

2026上海楼宇自控系统 / DDC 自控系统/能耗监测系统厂家知名厂家推荐 品牌选型指南！

根据 2026 年最新行业调研数据&#xff0c;楼宇自控市场已迎来深刻变革。在 “双碳” 战略深入推进与国产替代进程加速的双重驱动下&#xff0c;国产品牌已正式跻身行业第一梯队&#xff0c;与霍尼韦尔、江森自控、西门子等国际巨头同台竞技。在此行业格局重组的浪潮中&#xf…...

编程新知 2026/5/21 13:13:14

台州华声汽车音响改装店推荐，资深玩家都去这几家

在汽车音响改装领域&#xff0c;选择一家靠谱的门店&#xff0c;往往比挑选器材本身更考验车主的眼光。对于追求极致听感的资深玩家而言&#xff0c;改装的成败不仅取决于喇叭、功放等硬件的参数&#xff0c;更在于安装工艺、声学调校与项目统筹能力。近期&#xff0c;笔者深度…...

编程新知 2026/5/21 12:44:34

ARMv8内存访问指令STLUR与STLXP详解

1. ARMv8内存访问指令概述 在ARMv8架构中&#xff0c;内存访问指令构成了处理器与内存系统交互的基础设施。作为RISC架构的典型代表&#xff0c;ARMv8通过精简但功能明确的指令集实现了高效的内存操作。其中存储(Store)类指令负责将寄存器数据写入内存&#xff0c;而根据不同的…...

编程新知 2026/5/21 11:59:56