当前位置： 首页 > news >正文

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

news 2025/7/7 23:19:22

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

  • HBase从C50迁移到6.5.1（01）迁移概述
    • 迁移范围
    • 迁移前的准备
      • HDFS文件检查
      • 确认HBase迁移目录
      • 确保数据落盘
      • 停止老集群HBase服务
      • 停止新集群HBase服务

HBase从C50迁移到6.5.1（01）迁移概述

项目上最近全新部署了FusionInsight HD 6.5.1大数据集群，并且希望将老集群FusinInsight HD C50的所有业务都迁移到新集群上。由于在老集群C50上的HDFS、HBase中存在有大量的业务数据，因此将业务从C50迁移到6.5.1的过程中，就需要将C50上的业务数据同步迁移到新集群6.5.1上。

迁移范围

  • 迁移方向
    • 从老集群FusinInsight HD C50迁移数据到新集群FusionInsight HD 6.5.1。
  • 迁移场景
    • 生产实施，HDFS、HBase数据迁移。
  • 迁移方式
    • 离线迁移
  • 影响范围
    • 离线数据迁移，需要完成所有存量数据的迁移，迁移完成后做数据验证及业务切换。

迁移前的准备

在做数据迁移前需要做一些必要的准备工作。

使用admin用户登录到需要迁移数据的老集群FusinInsight C50的Manager。

登录成功后进入到Manager的主界面。

HDFS文件检查

在HDFS服务的status界面查看是否有missing block。

如果存在missing block，则需要登录集群客户端，执行命令：

hdfs fsck /

查看并分析具体的原因。

确认HBase迁移目录

迁移前还需要确认需要迁移的具体目录，可以通过HDFS Web UI进行查看。

以及：

各个目录的说明如下：

路径说明
/hbase/.tmp当对表做创建或者删除操作的时候，会将表move到该tmp目录下，然后再去做处理操作。
/hbase/WALs被HLog实例管理的WAL文件。
对于每个HregionServer，日志目录中都包含一个对应的子目录
在每个子目录下有多个HLog文件（因为日志滚动）。
/hbase/archive存储表的归档和快照，HBase在做Split或者compact操作完成之后，会将HFile移到archive目录中，然后将之前的HFile删除掉，该目录由HMaster上的一个定时任务定期去清理。存储表的归档和快照具体目录：/hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5
/hbase/corrupt损坏的日志文件，一般为空。
/hbase/dataHBase存储数据的核心目录。
/hbase/data/default该目录存储所有用户数据表/hbase/data/default/表名。
/hbase/data/hbase该目录存储了存储了HBase的namespace、meta和acl三个系统级表。
- /hbase/data/hbase/namespace
namespace中存储了HBase中的所有namespace信息，包括预置的hbase和default。
- /hbase/data/hbase/meta
meta表存储了所有Region信息的列表
- /hbase/data/hbase/acl
acl则是表的用户权限控制
/hbase/hbase.id集群的唯一ID。
/hbase/hbase.version集群的文件格式版本信息。
/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件中，不再需要日志文件时，它们会被移动到/hbase/oldWALs目录。

由于迁移过程只需要迁移HBase的数据，因此只需要迁移/hbase/data目录即可。

确保数据落盘

在数据迁移前，需要确保老集群FusinInsight HD C50上的HBase的所有表的数据已全部落入磁盘。

可以通过客户端，进入hbase shell客户端，对HBase的所有表都进行flush操作：

flush tablename

或者通过hdfs命令检查/hbase/WALs目录为空，或者大小为0：

hdfs dfs -du -h /hbase

停止老集群HBase服务

在迁移过程中，为了保证数据的完整性、一致性，防止因增量数据的产生而导致HDFS目录结构的变化，需要确保老集群FusinInsight HD C50上的HBase服务处于停止状态，因此，迁移时间点应该选在无业务数据产生的时间段。

停止新集群HBase服务

因为数据迁移会覆盖新集群FusinInsight HD 6.5.1上的HBase的数据，因此需要确保新集群的HBase的所有数据可删除、可覆盖，并且同样需要停止HBase服务。

使用admin用户登录到新集群FusinInsight HD 6.5.1的Manager，并在HBase服务界面，点击停止按钮停止HBase服务。

HBase服务停止后，点击完成按钮。

如果新集群中的HBase已经有数据，或者数据比较重要，也可以备份一下原有数据。

hdfs dfs -cp /hbase /hbase_bak
hdfs dfs -ls /hbase

备份完成后的文件如下：

至此，迁移前的准备工作就完成了，接下来就可以实施迁移工作。

相关文章：

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述 HBase从C50迁移到6.5.1（01）迁移概述迁移范围迁移前的准备HDFS文件检查确认HBase迁移目录确保数据落盘停止老集群HBase服务停止新集群HBase服务 HBase从C50迁移到6.5.1&a…...

编程日记 2023/9/8 22:16:52

ETCD集群搭建（实践可用）

概述 etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。 - 官方网址： Documentation versions | etcd 准备cfssl证书生成工具 cfssl是一个开源的证书管理工具，使用json文件生成证书. 在任意一…...

编程日记 2023/9/8 22:15:50

基于stm32f103rct6的呼吸灯实现

一、PWM 我们可以通过改变灯的有效电压占空比来实现呼吸灯效果。其中我们要用到PWM（脉宽调制），通过pwm我们可以来改变高电平的占空比 占空比：在一个周期中，高电平所占整个周期的百分比 具体如图： 当我们用…...

编程日记 2023/9/8 22:14:48

关于火绒邮件监控引起的扫描任意IP会有25和110端口反馈

之前测试过公司的外网IP，因为之前一直很注意对外映射的端口，都限制了可以访问的IP地址和端口，所以之前扫描的时候是一个端口都扫描不出来的。最近闲的无事，想着再扫描试试，结果发现居然开放了25和110端口，我…...

编程日记 2023/9/8 22:13:46

物联网应用中蓝牙模块怎么选？_蓝牙模块厂家

在蓝牙模块选型前期，一定要了解应用场景以及需要实现的功能（应用框图），以及功能实现过程中所能提供调用的接口（主从设备，功能），考虑模块供电，尺寸，接收灵敏度…...

编程日记 2023/9/8 22:12:46

Mysql远程登录报错：Host ‘192.168.137.1‘ is not allowed to connect to this MySQL server

连接失败是因为数据库没有对指定的ip的服务器地址的连接进行授权，许哦一需要先进行授权。 1. 改表 先登录登录数据库：mysql -u root -p mysql>use mysql;mysql>update user set host % where user root;mysql>FLUSH PRIVILEGES; 2.授权 …...

编程日记 2023/9/8 22:11:45

vue去掉循环数组中的最后一组的某个样式style/class

vue去掉循环数组中的最后一组的某个样式style/class 需求：要实现这样的排列 现状 发现，最后一个格子并没有跟下面绿色线对齐。 最后发现 是因为 每个格子都给了 margin-right：36px，影响到了最后一个格子 所以要 将最后一个格子的…...

编程日记 2023/9/8 22:10:44

Vue2面试题100问

Vue2面试题100问 Vue2面试题100问1.简述一下你对Vue的理解2.声明式和命令式编程概念的理解3.Vue 有哪些基本特征4.vue之防止页面加载时看到花括号解决方案有哪几种？5.Vue中v-for与v-if能否一起使用？6.vue中v-if与v-show的区别以及使用场景7.v-on可以监听…...

编程日记 2023/9/8 22:09:42

开机启动应用

windows 建立快捷方式 winr 输入shell:startup 将快捷方式复制进来 就可以了 如果你有ccleaner，也可以看到...

编程日记 2023/9/8 22:08:40

RK3588平台产测之ArmSoM-W3 DDR压力测试

1. 简介 RK3588从入门到精通 ArmSoM团队在产品量产之前都会对产品做几次专业化的功能测试以及性能压力测试，以此来保证产品的质量以及稳定性 优秀的产品都要进行多次全方位的功能测试以及性能压力测试才能够经得起市场的检验 2. 环境介绍 硬件环境： …...

编程日记 2023/9/8 22:07:39

springboot初试elasticsearch

引入依赖 elasticsearch的依赖版本与你elasticsearch要一致 <dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId> </dependency> 索引库的操作 创建索引库 impo…...

编程日记 2023/9/8 22:06:37

Node.js安装教程图文详解

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl 下载Node.js 请下载Node.js并保存至本地&#xff0c;官方网址&#xff1a;https://nodejs.org/zh-cn/ 在此&#xff0c;选择windows系统64位的16.13.1版本进行下载。 下载…...

编程日记 2023/9/8 22:05:35

laragon 为 php 安装 Xdebug 扩展

众所周知&#xff0c;php 自带的 var_dump() 输出格式很不直观 而 laragon 作为很好的 windos 下开发环境很受欢迎&#xff0c;本文就介绍如何快速为 laragon 的 php 安装 Xdebug&#xff0c;方便开发调试 一&#xff1a;启动开发环境&#xff0c;在任意可访问 php 页面中输出 …...

编程日记 2023/9/8 22:04:35

华为云 存在不支持迁移的外键解决方法

DRS 检测出源端存在不支持的外键引用操作 MySQL、GaussDB(for MySQL)为源的全量增量或增量迁移、同步场景&#xff0c;以及MySQL、GaussDB(for MySQL)为源灾备场景 表1 源端存在不支持的外键引用操作 预检查项 源端存在不支持的外键引用操作。 描述 同步对象中存在包含CASC…...

编程日记 2023/9/8 22:03:33

Linux 中的 cd 命令及示例

cd命令在Linux 中称为更改目录命令。它用于有效地从当前工作目录移动到系统中的不同目录。 Linux 中 `cd` 命令的语法 光盘[目录] cd [directory]在这里，将 [directory] ​​替换为您要导航到的目标目录的路径。 “cd”命令的实际实现与示例。...

编程日记 2023/9/8 22:02:32

【VUE】

概念 VUE是一个用于构建用户界面的渐进式框架 构建用户界面&#xff1a;基于数据渲染出用户看到的界面 渐进式&#xff1a;声明式渲染->组件系统->客户端路由->大规模状态管理->构建工具 框架&#xff1a;一套完整的项目解决方案 VUE使用方式&#xff1a; 1.…...

编程日记 2023/9/8 22:01:31

详解初阶数据结构之顺序表（SeqList）——单文件文件实现SeqList的增删查改

目录 一、线性表 二、顺序表 2.1概念及结构 2.2接口实现 2.3动态顺序表的创建 2.3动态顺序表的初始化 2.3.1传值初始化 2.3.2传址初始化 2.4动态顺序表的清空 2.5动态顺序表的扩容 2.6动态顺序表内容的打印 三、动态顺序表的使用 3.1尾插尾删 3.1.1尾插 3.1.2尾删…...

编程日记 2023/9/8 22:00:30

JavaScript中的深拷贝和浅拷贝

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 浅拷贝&#xff08;Shallow Copy&#xff09;&#xff1a;⭐深拷贝&#xff08;Deep Copy&#xff09;&#xff1a;⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带…...

编程日记 2023/9/8 21:59:27

树形结构的节点作为查询参数业务

1、业务描述 有一个树结构&#xff0c;存在一个唯一的code和一个父节点的pcode&#xff0c;要求前端传入任意层的code匹配这个code对应的所有子节点对应的数据。 2、解决思路 因为无法判定传入的code到底在那层&#xff0c;so 直接递归调用查询判断&#xff0c;如果有子节点就…...

编程日记 2023/9/8 21:58:26

sql：SQL优化知识点记录（十二）

&#xff08;1&#xff09;读锁案例讲解 加读锁和写锁 查看是否上锁&#xff1a;In_use&#xff1a;变成了1 读写锁对我们数据产生哪些影响&#xff1a; 读锁&#xff1a;是共享锁&#xff0c;其他线程可以查看&#xff1a; 加了读锁&#xff1a;session1不能修改自己&#xf…...

编程日记 2023/9/8 21:57:24

多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度​

一、引言&#xff1a;多云环境的技术复杂性本质​​ 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时&#xff0c;​​基础设施的技术债呈现指数级积累​​。网络连接、身份认证、成本管理这三大核心挑战相互嵌套&#xff1a;跨云网络构建数据…...

编程新知 2025/7/7 10:44:29

HTML 列表、表格、表单

1 列表标签 作用&#xff1a;布局内容排列整齐的区域 列表分类&#xff1a;无序列表、有序列表、定义列表。 例如&#xff1a; 1.1 无序列表 标签&#xff1a;ul 嵌套 li&#xff0c;ul是无序列表&#xff0c;li是列表条目。 注意事项&#xff1a; ul 标签里面只能包裹 li…...

编程新知 2025/7/3 13:21:09

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...

编程新知 2025/7/7 18:26:16

Qwen3-Embedding-0.6B深度解析：多语言语义检索的轻量级利器

第一章 引言&#xff1a;语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域&#xff0c;文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量&#xff0c;支撑着搜索引擎、推荐系统、…...

编程新知 2025/6/15 15:47:35

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...

编程新知 2025/6/21 15:17:11

VM虚拟机网络配置（ubuntu24桥接模式）：配置静态IP

编辑-虚拟网络编辑器-更改设置 选择桥接模式&#xff0c;然后找到相应的网卡&#xff08;可以查看自己本机的网络连接&#xff09; windows连接的网络点击查看属性 编辑虚拟机设置更改网络配置&#xff0c;选择刚才配置的桥接模式 静态ip设置&#xff1a; 我用的ubuntu24桌…...

编程新知 2025/7/5 13:50:27

Mysql中select查询语句的执行过程

目录 1、介绍 1.1、组件介绍 1.2、Sql执行顺序 2、执行流程 2.1. 连接与认证 2.2. 查询缓存 2.3. 语法解析&#xff08;Parser&#xff09; 2.4、执行sql 1. 预处理&#xff08;Preprocessor&#xff09; 2. 查询优化器&#xff08;Optimizer&#xff09; 3. 执行器…...

编程新知 2025/7/7 16:28:01

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币&#xff0c;另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额&#xff0c;返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

编程新知 2025/6/17 2:19:51

GraphQL 实战篇：Apollo Client 配置与缓存

GraphQL 实战篇&#xff1a;Apollo Client 配置与缓存 上一篇&#xff1a;GraphQL 入门篇&#xff1a;基础查询语法 依旧和上一篇的笔记一样&#xff0c;主实操&#xff0c;没啥过多的细节讲解&#xff0c;代码具体在&#xff1a; https://github.com/GoldenaArcher/graphql…...

编程新知 2025/7/7 23:17:36

【Linux】Linux安装并配置RabbitMQ

目录 1. 安装 Erlang 2. 安装 RabbitMQ 2.1.添加 RabbitMQ 仓库 2.2.安装 RabbitMQ 3.配置 3.1.启动和管理服务 4. 访问管理界面 5.安装问题 6.修改密码 7.修改端口 7.1.找到文件 7.2.修改文件 1. 安装 Erlang 由于 RabbitMQ 是用 Erlang 编写的&#xff0c;需要先安…...

编程新知 2025/7/7 15:32:57