从 Hadoop 迁移到数据 Lakehouse 的架构师指南
从 Hadoop 到数据湖仓一体架构的演变代表了数据基础架构的重大飞跃。虽然 Hadoop 曾经以其强大的批处理能力统治着大数据领域，但如今的组织正在寻求更敏捷、更具成本效益和现代化的解决方案。尤其是当他们越来越多地开始实施 AI 计划时。根本没有办法让 Hadoop 为 AI 服务。相反，越来越多的人正在迁移到数据湖仓一体架构，该架构结合了数据湖和数据仓库的优点，并提供处理现代数据工作负载所需的可扩展性、性能和实时功能。
Hadoop 的局限性
Hadoop 是为不同的数据处理时代而设计的。其整体式架构将存储 （HDFS） 和计算 （MapReduce） 紧密耦合，因此无法独立或有效地扩展。高运营开销、对 Hive 等复杂相互依赖的系统进行查询的依赖，以及交互式工作负载的性能缓慢，使得随着数据需求的增长，Hadoop 的吸引力降低。这些限制促使组织重新考虑其数据管理方法，并寻求在提高性能的同时降低复杂性和成本的替代方案。
进入数据湖仓一体
数据湖仓一体通过将数据湖的灵活性与数据仓库的结构和性能相结合，解决了 Hadoop 的缺点。借助湖仓一体架构，您可以在 MinIO Enterprise Object Store 中以开放表格式存储大量原始和结构化数据。此架构支持实时分析和批处理，并具有针对对象存储进行了优化的查询引擎。这种方法可以带来更灵活、经济高效且可扩展的数据基础设施。
迁移策略：分阶段方法
从 Hadoop 迁移到数据湖仓一体需要仔细规划和执行。目标是以最少的中断实现数据平台的现代化。以下是促进顺利过渡的分步指南：
1. 双重摄取策略：从并行操作开始
从双重摄取策略开始，在这种策略中，您可以继续将数据馈送到 Hadoop 环境中，同时将其摄取到高性能对象存储中。这种方法允许在不中断现有操作的情况下测试新的工作流程，还可以作为备份策略来降低迁移阶段的风险。
2. 将数据迁移到 Cloud-Native Object Storage
数据湖仓一体的核心是云原生对象存储，与 HDFS 相比，它提供几乎无限的容量和更低的维护成本。选择专为 AI 构建并针对 MinIO Enterprise Object Storage 等大型数据集进行优化的对象存储非常重要。对于迁移过程，请使用 Apache DistCP 等工具进行数据传输以进行批量迁移，并使用 Rclone等工具进行持续同步或较小的数据集。
3. 升级您的查询引擎
切换到现代查询引擎（如 Trino 或 Dremio）对于提高性能和支持复杂的高并发工作负载至关重要。这些引擎提供亚秒级查询响应，并且可以跨各种数据源联合查询，从而提供整个组织的统一数据视图。增强的查询性能不仅提高了数据可访问性，还实现了跨部门数据使用的民主化。您通常可以在迁移过程的早期更换查询引擎，然后再迁移数据，让最终用户参与进来并接受新流程的培训，然后再关闭 Hadoop 的点击。
4. 重新配置数据处理管道
在 Hadoop 中，数据处理通常使用 MapReduce 作业或 Hive 脚本执行。要使这些工作流现代化，请考虑将管道转换为使用支持批处理和流数据处理的开源工具。例如，Apache Flink 和 Apache Beam 都提供了适用于各种工作负载的通用数据处理框架。
5. 采用开放表格式以实现更好的数据治理
采用 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放表格式是实现 ACID 事务、时间旅行和架构演变等功能的关键一步。这些功能可确保数据完整性并允许无缝数据更新，同时提供对数据访问的精细控制。实施开放式表格式可增强治理并简化整个湖仓一体的数据管理。
释放数据的全部潜力
通过从 Hadoop 迁移到数据湖仓一体，组织可以降低成本、简化运营并实现实时分析。此举支持可扩展的数据存储和高性能查询功能，这对于充分利用现代数据工作负载的潜力至关重要。成功迁移的关键在于分阶段方法，逐步将数据和工作负载过渡到湖仓一体架构，从而最大限度地减少停机时间和中断。通过正确的规划，您的组织可以将其传统数据基础设施转变为强大、面向未来的平台。通过采用分阶段方法并利用现代数据技术来提高业务敏捷性和绩效，开始您的旅程。
相关文章：
从 Hadoop 迁移到数据 Lakehouse 的架构师指南
从 Hadoop 到数据湖仓一体架构的演变代表了数据基础架构的重大飞跃。虽然 Hadoop 曾经以其强大的批处理能力统治着大数据领域，但如今的组织正在寻求更敏捷、更具成本效益和现代化的解决方案。尤其是当他们越来越多地开始实施 AI 计划时。根本没有办法让 Hadoop 为 A…...
Python基础——类与对象
类与对象的理解： 在程序中我们将类看作是设计图纸，对象则是根据这个图纸生产的产品。面向对象编程就是使用对象编程，在类中我们定义成员属性和方法。 来看下面这个例子，创建student类，定义对象并对属性赋值。 class S…...
知乎广告怎么做？知乎种树推广怎么收费？
作为国内领先的知识分享平台，知乎以其高质量的内容和精准的用户群体，成为了品牌营销的新蓝海。云衔科技正式推出知乎信息流广告和知广告开户及代运营服务，旨在为企业提供一站式的营销解决方案。 一、知乎广告怎么做？ 1.明确广告…...
【设计模式】Python 设计模式之建造者模式（Builder Pattern）详解
Python 设计模式之建造者模式（Builder Pattern）详解 在软件开发中，创建复杂对象往往需要多个步骤，而这些步骤之间的顺序、配置可能有多种变化。为了解决这个问题，建造者模式（Builder Pattern）应…...
微软常用运行库合集 Microsoft Visual C++ Redistributable 2023.11.13
微软常用系统运行库 Microsoft Visual C Redistributable（简称：MSVC，VB/VC，系统运行库）是Windows操作系统应用程序的基础类型库组件。此版微软常用运行库合集整合Visual C 组件安装包运行库所有版本，提供图…...
[机器视觉]basler相机使用SN编号打开相机和采集
背景分析 在项目中是用basler相机采图时，一般用的比较多的遍历相机，然后使用CreateFirstDevice这个函数获取相机，有些时候可能需要同时连接多个相机，这里一般是遍历后，再循环打开相机，根据打开相机的SN号确…...
C#使用实体类Entity Framework Core操作mysql入门：从数据库反向生成模型2 处理连接字符串
初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。 源码指引：github源…...
Go语言基础学习(Go安装配置、基础语法)·
一、简介及安装教程 1、为什么学习Go？ 简单好记的关键词和语法；更高的效率；生态强大；语法检查严格，安全性高；严格的依赖管理， go mod 命令；强大的编译检查、严格的编码规范和完整的…...
高德开放平台API调用实战指南
本文 一、地图展示1.1 地图初始化与展示1.2 自定义标记 二、路线规划2.1 驾车路线规划2.2 步行路线规划 三、定位服务3.1 使用JavaScript API进行定位3.2 IP定位 四、实时交通信息查询4.1 获取实时交通路况 五、智能调度引擎总结 一、地图展示 地图展示是开发基于地理信息系统…...
文档太大LLM处理不过来？这10种LangChain分割技术帮你搞定！
前言 RAG（检索增强生成）是一种创建基于大语言模型（LLM）应用的高效方式。它有助于生成对用户查询的准确回答。为了创建一个基于 RAG 的应用程序，我们需要执行一些操作，例如文档加载、将大文档拆分为多个小块…...
TikTok广告账号被封？常见原因及解决方法分享
TikTok广告投放往往会给我们的账号带来高效曝光和精准流量，但同时许多用户也面临着一个困扰——广告账号被封禁的问题。将在此文一起商讨TikTok广告账号被封禁的原因，分析平台的具体规定，提供解决问题的应对策略，帮助大家有效规避…...
maven聚合ssm
如果没有写过ssm项目请移步SSM后端框架搭建（有图有真相）-CSDN博客 数据库准备 create table user (id int (11),uid varchar (60),name varchar (60),age int (11),sex varchar (12) ); insert into user (id, uid, name, age, sex) values(10,202409…...
网络通信与并发编程（二）基于tcp的套接字、基于udp的套接字、粘包现象
基于tcp的套接字 文章目录 基于tcp的套接字一、套接字的工作流程二、基于tcp的套接字通信三、基于udp的套接字通信四、粘包现象 一、套接字的工作流程 Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个…...
400行程序写一个实时操作系统（十）：用面向对象思想构建抢占式内核
前言 通过前几章的学习，我们学会了如何为RTOS设计一个合理的内存管理算法。现在，是时候学习设计RTOS内核了。 关于RTOS内核的文章也有很多，但都有一点先射箭再化靶子的意味。要么是代码连篇解释却寥寥无几，要么是要先怎么样再怎么…...
C#学习笔记（九）
C#学习笔记（九） 第六章 面向对象编程（一）类与对象、字段与属性一、类与对象正确的理解1. 什么是类？2.什么是对象？3. 类与对象的区别 二、类的基本规范和对象使用1. 类的规范 三、类的访问修饰符（…...
意外发现！AI写作这样用，热点文章轻松超越同行90%！
做自媒体，写热点文章很重要。 热点自带流量，能很快吸引不少读者。 可很多自媒体新手很犯愁。 干货文还能勉强写出来，碰到热点文就不知咋办了。 为啥写热点文章这么难呢？ 关键是得找个新颖角度切入。 要是只在网上反复复制粘贴那些…...
WPF常见容器全方位介绍
Windows Presentation Foundation (WPF) 是微软的一种用于构建Windows桌面应用程序的UI框架。WPF的布局系统基于容器，帮助开发者以灵活、响应的方式组织用户界面 (UI) 元素。本篇文章将详细介绍WPF中几种常见的容器，包括Grid、StackPanel、WrapPanel、Do…...
重置时把el-tree树节点选中状态取消
要重置 Element UI 的 el-tree 组件并取消所有节点的选中状态，可以通过以下几种方法： 使用 setCheckedKeys 方法： 如果你的树配置了 node-key 属性，可以使用 setCheckedKeys 方法来清空所有选中的节点。 this.$refs.tree.setCheck…...
服务器系统克隆技术
工作任务：克隆对象是Windows server2019 和2022的datacenter版本 条件：在已经完成安装的虚拟机上做克隆 图1-1 用两个服务器的母盘准备进行克隆 第一步：新建一个文件目录用于安放克隆好的服务器 图1-2 创建两个目录用于安放即将克隆好的服务…...
【Java】多线程 Start（） 与 run（） （简洁实操）
Java系列文章目录 补充内容 Windows通过SSH连接Linux 第一章 Linux基本命令的学习与Linux历史 文章目录 Java系列文章目录一、前言二、学习内容：三、问题描述start() 方法run() 方法 四、解决方案：4.1 重复调用 .run()4.2 重复调用 start()4.3 正常调用…...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案： 语义化标签： <header>：页头<nav>：导航<main>：主要内容<article>&#x…...
PHP和Node.js哪个更爽?
先说结论，rust完胜。 php：laravel，swoole，webman，最开始在苏宁的时候写了几年php，当时觉得php真的是世界上最好的语言，因为当初活在舒适圈里，不愿意跳出来，就好比当初活在…...
在rocky linux 9.5上在线安装 docker
前面是指南，后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
Nginx server_name 配置说明
Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...
Python如何给视频添加音频和字幕
在Python中，给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加，包括必要的代码示例和详细解释。 环境准备 在开始之前，需要安装以下Python库：…...
蓝桥杯 冶炼金属
原题目链接 🔧 冶炼金属转换率推测题解 📜 原题描述 小蓝有一个神奇的炉子用于将普通金属 O O O 冶炼成为一种特殊金属 X X X。这个炉子有一个属性叫转换率 V V V，是一个正整数，表示每 V V V 个普通金属 O O O 可以冶炼出 …...
Go 语言并发编程基础：无缓冲与有缓冲通道
在上一章节中，我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道，它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好࿰…...
SQL慢可能是触发了ring buffer
简介 最近在进行 postgresql 性能排查的时候，发现 PG 在某一个时间并行执行的 SQL 变得特别慢。最后通过监控监观察到并行发起得时间 buffers_alloc 就急速上升，且低水位伴随在整个慢 SQL，一直是 buferIO 的等待事件，此时也没有其他会话的争抢。SQL 虽然不是高效 SQL ，但…...
Mysql8 忘记密码重置，以及问题解决
1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...