当前位置： 首页 > news >正文

Hive跨集群数据迁移过程

news 2026/2/9 16:53:26

文章目录

  • 环境
  • 数据迁移需求
  • 迁移过程记录

环境

  • Hive集群A
  • Hive集群B
  • 跳转机一台

数据迁移需求

本次迁移数据100G，15亿条，数据流转方向从集群A经过跳转机到集群B，通过HDFS拉取和重新建表导入的方式完成数据库迁移。

迁移过程记录

- 当前操作在集群A

  1. 通过执行desc formatted，查看并记录数据库的：①存储位置，②文件存储压缩格式，③表字段；
  2. 对迁移的数据库执行count(*)操作，记录数据量，整体把握，最后做校验；

- 当前操作在跳转机

  1. 获取1.②位置之后，通过hdfs hds -du -h命令检查原始表数据在HDFS中的存储大小，确认是否能拉取到跳转机；
  2. 执行df -h检查跳转机可用存储空间，执行hdfs dfs -get命令，将存储的数据库源文件从集群A的HDFS拉取到跳转机本地；
  3. 执行ls | wc -l命令，检查拉取的数据库源文件数量，此步骤操作是为了校验文件数量；
  4. 如果不是压缩存储的文件，比如CSV,请执行head命令，查看源文件首行是否包含表字段，如果包含表字段，需要在建表时添加TBLPROPERTIES ('skip.header.line.count'='1');
  5. 执行hdfs dfs -put命令，将数据库源文件上传至集群B的HDFS，并执行hdfs hds -du -h检查存储大小是否一致，请提前mkdir准备好存储目录；

- 当前操作在集群B

  1. 根据1.③编辑建表语句并执行，根据压缩存储格式的不同，MapReduce在执行时的输入输出结果也不同；
不指定格式
InputFormatorg.apache.hadoop.hive.ql.io.RCFileInputFormat
OutputFormatorg.apache.hadoop.hive.ql.io.RCFileOutputFormat
指定TEXTFILE格式
InputFormatorg.apache.hadoop.mapred.TextInputFormat
OutputFormatorg.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

本次迁移方案数据源文件为.snappy.parquet压缩存储格式，新建的表为TEXTFILE格式，指定了分隔符为,;

  1. 通过beeline执行LOAD DATA INPATH 'hdfs location' into table table_name命令，将HDFS中的数据源文件导入Hive表，至此完成迁移；
  2. 若对存储格式在后续有新的需求，可以在完成导入后，通过创建新的附带存储格式的表，再执行insert overwrite table table_name_new select * from table_name_old;命令，完成Hive存储格式的转换；
  3. 对于数据完整性、一致性的考虑：可以在完成后再次执行count（*），校验数据量，此方法是为了避免出现因格式不同，忽略CSV首行字段问题，或者建表语句错误，剔除了有效数据导致数据缺失的危险行为。

相关文章：

Hive跨集群数据迁移过程

文章目录 环境数据迁移需求迁移过程记录 环境 Hive集群AHive集群B跳转机一台 数据迁移需求 本次迁移数据100G，15亿条，数据流转方向从集群A经过跳转机到集群B，通过HDFS拉取和重新建表导入的方式完成数据库迁移。 迁移过程记录 - 当前操作…...

编程日记 2023/10/21 22:14:07

中国移动启动算网大脑“天穹”全网试商用

10月12日，中国移动在2023全球合作伙伴大会主论坛正式启动算网大脑“天穹”全网试商用，全面开启算力网络2.0新征程，标志着中国移动算力网络迈向“融合统一”新阶段。 为落实国家“东数西算”战略，中国移动开创性提出算力网络新理念…...

编程日记 2023/10/21 22:13:05

apk和小程序渗透

apk和小程序域服务器通信使用的还是http协议，只是使用了加密。只要可以获取到http的请求报文，就可以回归到web渗透的层面。apk和小程序的渗透很复杂，涉及逆向时要进行脱壳，脱壳后反编译了，源代码没做加密就能直接逆向出…...

编程日记 2023/10/21 22:12:04

播放svga动画的时候 第一次加载资源，然后切换动画 会动画会重影

如果在切换 SVGA 动画的过程中，第一次加载时出现重影，但第二次及以后的切换没有重影，这可能是由于第一次加载时资源缓存不完整导致的。为了解决这个问题，你可以尝试以下方法： 1.在每次切换动画之前，预先加…...

编程日记 2023/10/21 22:11:03

如何实现前端音频和视频播放？

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…...

编程日记 2023/10/21 22:10:02

chatgpt 4V 识图功能

1.获取图片的sig和file_id 2e0edc6e489ed13a3f32f0dd87527d77.jpg是本地图片的名字 头部认证信息自己F12 抓取 1.获取图片的sighttps://chat.openai.com/backend-api/filesAuthorization:Bearer eyJhbGc****************5V-lztYwLb9hr6LP7g Cookie: **********************…...

编程日记 2023/10/21 22:09:01

展馆导览系统之AR互动式导航与展品语音讲解应用

一、项目背景 随着科技的进步和人们对于文化、艺术、历史等方面需求的提升，展馆在人们的生活中扮演着越来越重要的角色。然而，传统的展馆导览方式，如纸质导览、人工讲解等，已无法满足参观者的多元化需求。为了提升参观者的体验&a…...

编程日记 2023/10/21 22:08:00

Rust 中的String与所有权机制

文章目录 一、string二、所有权2.1 所有权与作用域2.2 对所有权的操作2.2.1 转移2.2.3 拷贝2.2.3 传递 2.3 引用2.3.1 借用2.3.2 可变引用 一、string 之前学习过 Rust 只有几种基础的数据类型，但是没有常用的字符串也就是String，今天来学习一下 String…...

编程日记 2023/10/21 22:07:00

多线程环境下如何安全的使用线性表, 队列, 哈希表

小王学习录 今日鸡汤安全使用ArrayList安全使用队列安全使用HashMap 今日鸡汤 安全使用ArrayList 使用synchronized锁或者reentrantLock锁使用CopyOnWriteArrayList(COW写时拷贝)类来代替ArrayList类. 多个线程对CopyOnWriteArrayList里面的ArrayList进行读操作, 不会发生线程…...

编程日记 2023/10/21 22:04:58

机器人SLAM与自主导航

机器人技术的迅猛发展，促使机器人逐渐走进了人们的生活，服务型室内移动机器人更是获得了广泛的关注。但室内机器人的普及还存在许多亟待解决的问题，定位与导航就是其中的关键问题之一。在这类问题的研究中，需要把握三个重点&#…...

编程日记 2023/10/21 22:02:56

Zookeeper集群 + Kafka集群的详细介绍与部署

文章目录 1. Zookeeper 概述1.1 简介1.2 Zookeeper的工作机制1.3 Zookeeper 主要特点1.4 Zookeeper 数据结构1.5 Zookeeper的相关应用场景1.5.1 统一命名服务1.5.2 统一配置管理1.5.3 统一集群管理1.5.4 服务器动态上下线1.5.5 软负载均衡 1.6 Zookeeper 选举机制1.6.1 第一次启…...

编程日记 2023/10/21 22:01:53

STP、堆叠与VRRP如何使用

✍ STP生成树用在哪里？ ✍ STP和堆叠有什么区别？ ✍ VRRP双网关热备份如何部署？ --- 通过交换机组成网络是局域网，连接终端设备的交换机就是接入层交换机。 --- 如上组网结构单一，不需要网工。 容易发生单点故障&…...

编程日记 2023/10/21 21:59:50

Go 函数的健壮性、panic异常处理、defer 机制

Go 函数的健壮性、panic异常处理、defer 机制 文章目录 Go 函数的健壮性、panic异常处理、defer 机制一、函数健壮性的“三不要”原则1.1 原则一：不要相信任何外部输入的参数1.2 原则二：不要忽略任何一个错误1.3 原则三：不要假定异常不会发生…...

编程日记 2023/10/21 21:58:49

Maven的详细介绍(maven的全据配置以及idea中maven的配置）

maven的理解 Maven 是一个强大的项目管理和构建自动化工具，它通过抽象的项目对象模型(POM：Project Object Model)和构建生命周期模型(Project Lifecycle)来对项目及其构建过程进行管理(Dependency Management System)，Maven 最大化的消除了构…...

编程日记 2023/10/21 21:57:48

Qt中Json的操作

在 Json的两种格式中介绍了Json的格式以及应用场景。由于这种数据格式与语言无关，下面介绍一下Json在Qt中的使用。 从Qt 5.0开始提供了对Json的支持，我们可以直接使用Qt提供的Json类进行数据的组织和解析。相关的类常用的主要有四个，具体如下： Json类介绍 QJsonDocument |…...

编程日记 2023/10/21 21:56:46

10. 机器学习-评测指标

Hi,你好。我是茶桁。 之前的课程中，我们学习了两个最重要的回归方法，一个线性回归，一个逻辑回归。也讲解了为什么学习机器学习要从逻辑回归和线性回归讲起。因为我们在解决问题的时候，有限选择简单的假设，越复杂的模型…...

编程日记 2023/10/21 21:55:45

SAP-QM-动态检验规则

Dynamic Modification Rule （动态修改规则） 1、决定样本大小的方式有3种： 手动输入比例大小采样过程 物料主数据质量视图 2、采样过程的创建方式有2种 跟批量大小有关系：百分比/AQL跟批量大小没有关系：固定值 而当…...

编程日记 2023/10/21 21:54:44

CCC数字钥匙设计【NFC】--NFC卡相关基础知识

CCC3.0的NFC技术中，除车端，手机端需包含NFC功能外，另外一般还会配置一个NFC卡，用于备份使用。本文主要介绍NFC卡相关的基础知识。 1、NFC卡 & 智能卡 NFC卡是一种智能卡，其与信用卡大小相同，可通过嵌入…...

编程日记 2023/10/21 21:53:43

SpringMVC（第一个项目HelloWorld））

文章目录 1.在maven引入依赖2.配置web.xml3.创建请求控制器4.创建springMVC的配置文件5.测试HelloWorld总结 1.在maven引入依赖 <dependencies><!-- SpringMVC --><dependency><groupId>org.springframework</groupId><artifactId>spring…...

编程日记 2023/10/21 21:52:42

GEO生信数据挖掘（九）肺结核数据-差异分析-WGCNA分析（900行代码整理注释更新版本）

第六节&#xff0c;我们使用结核病基因数据&#xff0c;做了一个数据预处理的实操案例。例子中结核类型&#xff0c;包括结核&#xff0c;潜隐进展&#xff0c;对照和潜隐&#xff0c;四个类别。第七节延续上个数据&#xff0c;进行了差异分析。 第八节对差异基因进行富集分析。…...

编程日记 2023/10/21 21:51:41

Leetcode 3577. Count the Number of Computer Unlocking Permutations

Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接&#xff1a;3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯&#xff0c;要想要能够将所有的电脑解锁&#x…...

编程新知 2026/1/4 2:33:39

EtherNet/IP转DeviceNet协议网关详解

一&#xff0c;设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络&#xff0c;本网关连接到EtherNet/IP总线中做为从站使用&#xff0c;连接到DeviceNet总线中做为从站使用。 在自动…...

编程新知 2026/1/31 6:53:51

JVM暂停（Stop-The-World，STW）的原因分类及对应排查方案

JVM暂停（Stop-The-World，STW）的完整原因分类及对应排查方案，结合JVM运行机制和常见故障场景整理而成： 一、GC相关暂停​​ 1. ​​安全点（Safepoint）阻塞​​ ​​现象​​：JVM暂停但无GC日志，日志显示No GCs detected。​​原因​​：JVM等待所有线程进入安全点（如…...

编程新知 2026/2/7 11:25:15

稳定币的深度剖析与展望

一、引言 在当今数字化浪潮席卷全球的时代&#xff0c;加密货币作为一种新兴的金融现象&#xff0c;正以前所未有的速度改变着我们对传统货币和金融体系的认知。然而&#xff0c;加密货币市场的高度波动性却成为了其广泛应用和普及的一大障碍。在这样的背景下&#xff0c;稳定…...

编程新知 2025/10/24 12:31:26

Redis的发布订阅模式与专业的 MQ（如 Kafka, RabbitMQ）相比，优缺点是什么？适用于哪些场景？

Redis 的发布订阅&#xff08;Pub/Sub&#xff09;模式与专业的 MQ&#xff08;Message Queue&#xff09;如 Kafka、RabbitMQ 进行比较&#xff0c;核心的权衡点在于&#xff1a;简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

编程新知 2025/12/4 2:32:37

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2026/1/24 4:10:44

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit&#xff08;传感器服务&#xff09;# 前言 在运动类应用中&#xff0c;运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据&#xff0c;如配速、距离、卡路里消耗等&#xff0c;用户可以更清晰…...

编程新知 2026/2/2 7:49:59

算法：模拟

1.替换所有的问号 1576. 替换所有的问号 - 力扣&#xff08;LeetCode&#xff09; ​遍历字符串​&#xff1a;通过外层循环逐一检查每个字符。​遇到 ? 时处理​&#xff1a; 内层循环遍历小写字母&#xff08;a 到 z&#xff09;。对每个字母检查是否满足&#xff1a; ​与…...

编程新知 2026/1/25 10:01:01

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2026/1/29 3:55:23

android RelativeLayout布局

<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...

编程新知 2026/2/6 13:49:41