浅谈数据仓库运营

一、背景

        企业每天都会产生大量的数据，随着时间增长，数据会呈现几何增长，尤其在系统基建基础好的公司。好的数据仓库需要提前规划和好的运营，才能支持企业的发展，为企业提供数据分析基础。

二、目标

        提高数据仓库存储性能和开发质量以及数据质量

三、数据运营指标

3.1 开发质量

表名规范性：检验数据库表名是否按照数仓表名规范，表名是否按照词根翻译

字段名规范性：检验表字段名是否按照词根中文进行翻译

字段类型规范性：检验表字段类型是否按照数据标准设立

表引用次数：根据表引用次数进行排名，重点关注引用次数高的和次数低的，次数高的定期优化，确保任务执行失败，次数低的考虑数据架构是否合理，如果存在次数为0的说明未使用(很多业务调整但是表还没有拿掉，会存在很多僵尸表)。

表循环依赖：检查数据库表是否存在循环写入(A->B,B->C,C->A)，很多公司不存在数据架构师，往往为了实现报表需求，直接拿已经做好的指标，可能会存在循环写入的情况(A表用B表指标1，B表用A表指标2)

表层级依赖：数仓规范会要求ODS只能写入DWD层，DWD层只能写入DWS层。

SQL编写规范性：在sql中我们会要求sql编写规范，不写 select *, 字段后带有注释，字段前有表别名，每个表必须重命名，字段换行等等

3.2 ETL任务

任务失败次数：查看任务失败次数排名，重点关注容易出错的任务

任务执行时长：优化长时间执行任务，降低资源使用

任务读取数据量：查看任务读取数据量大小，大数据量访问的数据库做好性能支撑

任务执行时间点分布：查看任务集中时间点，将任务均匀分布，避免任务集中执行

任务类型分布：查看执行任务类型分布，针对不同类型任务分配资源

3.3 数据质量

一致性：数据值在数据集之间和数据集内之间表达的相符程度

完整性：引用完整性或数据集内部的一致性

准确性：数据模式符合预期程度

及时性：数据更新是否及时

唯一性：数据集的任何实体不会重复出现

有效性：数据值与定义的域值一致

四、实施步骤

定规范：制定数据仓库开发规范，建立词根库，制定数据标准。

定流程：将开发最佳实践落地成流程，做好人岗匹配。

规范落地监控：根据规范开发规范规则监控，识别违法规范行为。

奖罚措施：奖励优秀的开发，惩罚违法开发规范的行为。