【数据仓库-零】数据仓库知识体系 ing

通过熟悉构建数仓整体的过程，可以系统的了解

• 数仓构建理论：能够站在全局角度看数仓的运行架构，数仓执行流程。
• 了解到构建数仓的每一步对应使用哪些技术；

总之学习数仓为我们提供了构建、管理和优化大数据架构的关键技能和知识。

接下来我们了解下数据仓库都有哪些知识点需要我们进行学习：

一. 数仓基本概念

• 数据仓库基础概念：
  数据仓库概念、
• 数据仓库架构：有如下架构：
  1.数据集市、2.immon企业工厂架构、3. Kimball数据仓库架构、4.混合型数据架构
• 数据仓库常见术语解析：维度模型和事实表

 

二. 离线数仓建设方法论

1. 数仓分层方法
2. 数仓建模方法：有如下三种方法：
   –（三）范式法
   – 维度建模法
   – 实体建模法
3. 维度建模详解

维度建模和星型雪花模型的原则

 

三. etl流程

1. 了解数据抽取、转换和加载的概念
2. ETL工具都有哪些：flink、hive等
3. 如何进行数据清洗、转换和汇总

 

四. 数仓规范建设指南

1. 数仓公共开发规范，见如下开发规范
   – 层次调用规范
   – 数据类型规范
   – 数据冗余规范
   – NULL字段处理规范
   – 指标口径规范
   – 数据表处理规范
   – 表的生命周期管理
2. 数仓各层开发规范，见如下规范
   – ODS层设计规范
   – 公共维度层设计规范
   – DWD明细层设计规范
   – DWS公共汇总层设计规范
3. 数仓命名规范：词根设计规范

四. 数据仓库架构

数据仓库典型架构
数据仓库与数据湖、数据集市等概念的关系和区别。

 

五. 数据可视化

常见的数据可视化工具
如何设计仪表板和报表