当前位置：首页 > news >正文

理清大数据技术与架构

news 2026/5/30 3:18:59

大数据并不是一个系统软件，更不是一个单一的软件，它实际上是一种技术体系、一种数据处理方法，甚至可以说是一个服务平台。在这个技术体系中，涵盖了许多不同的部件，比如Hadoop服务平台。这一服务平台可以根据具体情况自由组合，具体应用需求决定了最终的架构选择,下面我会从大数据应用步骤，大数据技术学习方法，大数据应用工具一一说明。

1）大数据应用步骤

宏观来看，大数据应用的步骤可以分为：数据源、数据存储、数据计算、数据分析以及数据应用，如下。

2）大数据技术学习方法

方法还是离不开以不变应万变，既然是大数据技术，核心就是数据流。

比如学习Hadoop和Spark，我们可以深入了解它们的原理和工作机制，就好比研究恒星和行星的形成和运行规律。但同时，我们也要明白它们在数据采集、清洗、转换、分析和展示等环节中的作用，就如同了解它们在宇宙中的定位和影响一样。只有全面理解了这些，才能像宇航员一样游刃有余地在数据宇宙中航行，实现完整的数据分析工作流程，为数据探索之旅增添更多的可能性和美妙。

离线计算示例：
在离线计算场景下，使用的都是历史数据，也就是不会再发生改变的数据。在数据源确定以后，这些数据不会再增加、也不会再更新，比较适合对实时性要求不高的场景。大多数情况下是周期性的计算某一个指标或执行一个Job，运算耗时基本上可以控制在分钟级。

数据源：数据文件、数据库中的数据等
数据采集：Sqoop、HDFS数据上传、Hive数据导入等
数据存储：HDFS
数据分析：MapReduce、Hive QL
计算结果：Hive结果表（HiveJDBC查询）、导出至关系型数据库

3）大数据应用工具

大数据应用工具如下：

一，数据采集工具

示例：flume数据采集框架

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。

二，数据存储工具

示例：hfds数据存储框架

HDFS是Hadoop体系中数据存储管理的基础，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，提供一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器上高度容错性的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。

运行架构如下：

三，数据计算工具

示例：spark计算框架

Spark是一个master/slave架构的分布式系统，使用内存计算引擎，提供Cache缓存机制，将RDD缓存到内存或磁盘当中，支持迭代计算和多次数据共享，减少数据读取的IO开销。

spark生态系统+spark运行架构如下：

四，数据分析工具

示例：python数据分析框架

五，任务调度，资源管理工具

示例：yarn资源调度框架

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。

六：大数据平台搭建工具

国外一些厂商对大数据中的组件进行了封装，提供了一体化的大数据平台，利用它可以快速安装大数据组件。目前业内最常见的是包括CDH、HDP、CDP等。

HDP：全称是 Hortonworks Data Platform。它由 Hortonworks 公司基于 Apache Hadoop 进行了封装，借助于 Ambari 工具提供界面化安装和管理，并且集成了大数据中的常见组件，可以提供一站式集群管理。HDP 属于开源版免费大数据平台，没有提供商业化服务；

CDH：全称是 Cloudera Distribution Including Apache Hadoop。它由 Cloudera 公司基于 Apache Hadoop 进行了商业化，借助于 Cloudera Manager 工具提供界面化安装和管理，并且集成了大数据中的常见组件，可以提供一站式集群管理。CDH 属于商业化收费大数据平台，默认可以试用 30 天。之后，如果想继续使用高级功能及商业化服务，则需要付费购买授权，如果只使用基础功能，则可以继续免费使用；

CDP：Cloudera 公司在 2018 年 10 月份收购了 Hortonworks，之后推出了新一代的大数据平台产品 CDP（Cloudera Data Center）。CDP 的版本号延续了之前 CDH 的版本号。从 7.0 版本开始， CDP 支持 Private Cloud（私有云）和 Hybrid Cloud（混合云）。 CDP 将 HDP 和 CDH 中比较优秀的组件进行了整合，并且增加了一些新的组件。

来源1：大数据到底应该如何学？_大数据怎么学-CSDN博客

来源2：一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】_互联网和大数据知识体系图-CSDN博客

详细了解可看《大数据技术及架构图解实战派》一书