数仓建模流程

数仓建模简介

一句话总结

数仓建模中的“建模”是一个将数据有序组织和存储起来的过程，旨在提高数据的使用效率和降低使用成本。

详细描述

在数仓建模中，“建模”指的是构建数据模型，也就是数据的组织和存储方法。数据模型强调从业务、数据存取和使用角度合理存储数据，其目标是让数据有序地组织和存储起来，从而实现高性能、低成本、高效率、高质量的数据使用。
数据仓库建模的主要意义在于，通过合理的数据组织和存储方法，能够快速查询所需要的数据，减少数据的I/O吞吐，提高使用数据的效率。同时，它也能极大地减少不必要的数据冗余，实现计算结果复用，极大地降低存储和计算成本。
在数仓建模中，常见的模型包括维度模型等。维度模型通过事实和维度两个概念对复杂的业务进行呈现。其中，事实通常对应业务过程，而维度则对应业务过程发生时所处的环境。这种模型相对清晰、简洁，能够帮助人们更好地理解业务数据。
总之，数仓建模中的“建模”是一个将数据有序组织和存储起来的过程，旨在提高数据的使用效率和降低使用成本。

数仓建模流程

1. 业务调研

建模之前先梳理清楚，数据仓库涵盖哪些业务线，每个业务线包含哪些业务模块。我们可以参考阿里电商的这个图表进行梳理：

最终我们根据自己的业务线填写下面表格：

功能模板/业务线	业务1	业务2	业务3
模块1
模块2
模块n

着重说明：建立一个好用的数仓，业务一定要非常熟悉。可能我们只有一个业务线（也可以是一个系统），这个业务线中包含哪些模块，开发系统的人，或者使用系统的业务人员是非常清楚的，可以沟通后进行梳理。

2. 需求调研

1. 根据业务人员沟通需求，最终形成需求文档
2. 开发需求需要哪些维度和度量

3. 数据域划分

1. 数据域
   业务过程和维度的抽象。
   根据业务流程、根据系统、根据部门等等，需要注意的是，数据域的目的就是为更好的组织数仓中的数据，可以联想图书馆会把图书根据不同的专业放到不同的书架，只要可以更好的找到数据就可以划分为数据域。
   常见的一个划分思路：比如是构建一个集团的数仓，那么就可以根据部门划分，如果是构建某个部门的数仓，就可以根据业务系统、流程来划分。

2. 如何划分
   根据业务流程、根据系统、根据部门等等，需要注意的是，数据域的目的就是为更好的组织数仓中的数据，可以联想图书馆会把图书根据不同的专业放到不同的书架，只要可以更好的找到数据就可以划分为数据域。

3. 评判标准
   划分数据域时，既能涵盖当前业务需求，又能在新业务进入时，无影响的进入已有数据域中或者扩展新的数据域。

4. 参考阿里电商
   
   

4. 构建总线矩阵

1. 做两件事

• 明确每个数据域下有哪些业务过程
• 业务过程与哪些维度相关，并定义每个数据域下的业务过程和维度

2. 总线矩阵模板
   

3. 参考阿里电商
   

5.规范定义

1. 规范定义
   主要是定义指标体系，原子指标、修饰词、时间周期和派生指标。
2. 指标体系
   指标体系包含原子指标、派生指标、修饰类型、修饰词、时间周期。
3. 原子指标/度量
   原子指标和度量含义相同，基于某一业务事件行为下的度量，是业务中不可再拆分的指标，具有明确业务含义的名词，如支付金额。
4. 派生指标
   派生指标=一个原子指标+多个修饰词（可选）+时间周期。可以理解为对原子指标业务统计范围的圈定。如原子指标：支付金额，最近1天海外买家支付金额则为派生指标（最近一天为时间周期，海外为修饰词，买家作为维度，而不是修饰词）。
5. 修饰类型
   是对修饰词的一种抽象划分。修饰类型从属于某个业务领域，如日志域的访问终端类型涵盖无线端、PC端等修饰词

6. 模型设计

主要包括维度即属性的规范定义，维表、明细事实表和汇总事实表的模型设计。

1. 度量称为事实：我更喜欢把连续型的数值称为事实
2. 环境描述称为维度：我更喜欢把离散型的字段称为维度。

维表和实时表模型设计内容较多，我们会放到后面讲解。

总结

根据我的经验，很多公司做数仓建模流程都和上面的类似，但又都不太相同，有的极其缩减，尤其是较小项目。因此我们在做的时候可以参考上面流程，但不要可以生搬硬套，有的时候甚至一个简单的事情，由于自己刻意要生搬硬套相关概念，导致迟迟不能入手开发。

一个简单的数仓项目，甚至可以简化到只要明确划分ods、dwd、dim、dws层级就可以使用。但是一个好用的数仓，显然就有更多的规范约束了。