数据质量管理概述

1、数据质量的概念

指的是在组织业务，管理要求下，符合数据使用者满足业务，管理需求的评价方式

2、数据质量管理的概念

3、4种常见低质量数据情况

1）重要数据缺失

• 有些信息暂时无法获取或者获取代价太大
• 信息在采集输入中遗漏
• 属性值不存在

2）数据异常

3）数据不一致

4）数据重复或者错误

4、影响数据质量3大因素

1）业务影响

• 业务需求不清晰
• 业务数据输入不规范
• 虚假信息

2）技术影响

• 数据源质量问题
• 数据采集过程质量问题
• 数据传输过程质量问题
• 数据装载过程质量问题
• 数据存储问题

3）管理影响

• 对数据质量问题不够重视
• 没有数据治理组织，缺乏数据追责机制
• 缺乏数据规划
• 数据输入规范不统一
• 缺乏有效的数据监控机制

5、数据质量评判6大维度

• 完整性
• 一致性
• 准确性
• 时效性
• 合规性
• 可访问性

6、数据质量管理实施6部曲

1）确定目标和范围

2）数据质量调研

• 调研企业系统质量情况
• 分析数据质量问题
• 制定数据质量提升范围

3）设定数据质量管理角色、流程和制度

4）数据质量规则制定

• 已有的数据标准
• 监管要求，行业规范
• 调研的数据质量问题
• 业务需求

5）数据质量平台建设

6）数据质量运营持续提升