读书笔记--数据治理之法
继续延续上一篇文章,对数据治理之法进行学习。数据治理之法是战术层面的方法,是一套涵盖8项举措的数据治理实施方法论,包括梳理现状与确定目标、能力成熟度评估、治理路线图规划、保障体系建设、技术体系建设、治理策略执行与监控、绩效考核与长效运营。构建形成数据治理的8项核心能力,为企业数字化转型铺平了道路。
本书这八章从方法论的角度,阐述了数据治理的持续性、长期性、全面性和循环迭代性,明确了数据治理要以业务目标为导向,以数据标准为基础,以优化流程为关键,以技术创新为支撑,以组织制度为保障,明确数据治理的业务目标和治理范围,指出数据治理不能一蹴而就的,需要建立起长效运营机制,需要培养一批有工匠精神的数字化人才,不断打磨数据标准和数据质量,将数据治理变成一种机制、一种文化、一种习惯,才能达到数据治理的标本兼治、长治久安的目标。方法论部分从现状剖析,目标确定,由成熟度评估找出差距到路线图规划,明确了数据治理过程中的管理制度组织保障和技术保障措施,之后提出了数据治理的策略制定和治理过程的执行监督,并明确了数据治理的考核指标,最后根据数据治理要想支撑业务出效果,就需要长期和持续的坚持,即长效运营机制的建立,说明数据治理工作既是一个过程工程,也是一个持久性结果工程,不能只看过程,更要注重结果。
一、梳理现状与确定目标
数据治理的第一步是明确治理的业务目标是什么。
首先,需要摸清楚企业现状,通过信息化摸底,了解企业信息化建设情况,从IT视角了解企业数据管理的痛点和需求;通过业务部门调研,了解数据治理涉及的实施范围,目前数据管理存在的问题与核心需求等,从业务视角了解企业数据管理的痛点和需求;通过高层领导调研,了解企业业务战略、数据思维和认知,了解高层领导对数据治理思路目标方向期望和要求,明确数据治理的目标,数字化目标和发展目标。
其次,开展现状评估,需要对企业的数据思维和认知现状进行评估,接下来要对企业IT系统现状(系统架构、系统集成、系统使用和系统数据)、数据分布现状(数据域划分和数据资源归类)、数据管理现状和数据质量现状进行评估分析。
最后,明确数据治理的目标,要通过企业战略理解、业务需求分析来确定业务目标,再结合IT需求分析,进而确定治理目标,明确了数据治理是企业实现业务目标的一种手段。
常见的治理目标:提效、降本、增强决策、控制风险、精细化管理、创新管理业务模式、增强数据价值获取、满足利益相关方需求等。
二、数据治理能力成熟度评估
能力成熟度评估是企业开展数据治理的切入点,主要通过一系列方法、关键指标和工具来摸清楚企业目前的数据管理现状,用于统一数据管理概念认识、帮助企业建立全面的数据管理能力体系、找到优势和差距,指明方向,提供建议。
常见的能力成熟度模型有DMM和DCMM模型,DCMM分为5个等级,即初始级、受管理级、稳健级、量化管理级和优化级。具体见下图。
引入DCMM模型后,需要进行相应的评估,评估方法见下图。
DCMM是参考DMM模型和DAMA数据管理框架,并结合国内数据管理特点形成的,相对成熟和应用广泛。
总之,通过能力成熟度评估,目的是为了发现问题、找出差距、明确改进方向。
三、数据治理路线图规划
通过前面的能力成熟度评估,绘制出符合企业现状和需求的数据治理路线图。
路线图:一种目标计划,就是计划未来要做的事情罗列出来,直至达到某个目标。
数据治理路线图:是企业数据治理战略要素、发展方向、建设顺序和实施路径的综合表达,指明方向和路径,以时间为轴,采用量化方式明确每个节点的目标、建设内容,为数据治理的实施和操作提供具体参考和依据。一般包括5个要素,即目标任务、需求分析、技术路径、建设步骤、实施保障。给出了具体业务目标,以及实现该目标的步骤、方法、资源、技术和制度等,形成全方面、全链路的治理体系规划。
在路线图中,首先要明确目标、量化指标,要选取业务部门强烈的数据需求和数据质量痛点为着力点,同时要量化数据治理的指标;其次要选择合适的技术路径,比如自研、采购平台或PaaS服务,未来数据治理的技术路径会逐步走向云端;最后要确定治理的优先级,绘制治理路线图,要通过业务痛点--》业务线协同问题--》数据问题,以点连线、以线带面,采用大处着眼、小处着手的原则推进,逐步实现治理目标。典型的数据治理路线图如下。
四、数据治理保障体系建设
数据治理是对数据资产的治理,更是对数据资产所属的利益相关方的协调和规范,甚至是利益再分配。因此需要配置良好的组织机构和高层(一把手)的支持,甚至深入参与。
数据治理项目不像传统的IT项目或科研项目,要求项目负责人具备强大的沟通能力、深厚的技术能力和业务功底。
1.组织机构
设置组织机构明确了组织的3个原则,即治理要从企业利益出发、需要合理分工、需要相关方通力合作。
数据治理项目涉及范围广,牵扯不同的业务部门、信息部门和应用系统,一般来说,主要有5类角色,即数据治理委员会、数据治理办公室、数据所有者、生产者和使用者(消费者)。见下图。
关于谁应该对数据质量负责的问题?数据所有者对特定数据域内的数据负责,数据确权定责只是数据治理的手段,目的是为了提高数据质量和实现业务目标。严格来说数据质量人人有责,谁生产谁负责,谁拥有谁负责,谁管理谁负责,谁使用谁负责。
数据治理的组织机构也要随着建设阶段和运营阶段的变化有所调整,具体见下图。
2.打造高层(一把手)工程
数据治理项目的实施涉及业务范围广、牵扯的人员多、技术复杂多样,因此需要一把手打破部门墙、消除信息孤岛,拿到项目成功的金钥匙。
数据治理不仅仅是一个项目,更是一项持续的数据服务,需要不断迭代、持续优化的综合工程,需要高层的支持或深度参与,由于涉及范围广、周期长、过程复杂等特点,需要不断的重新调配预算、资源,这些都需要高层的推动,同时要开展全面数据治理才可能最终见效,需要企业的利益相关方统一认知、统一思想、齐心合力、上下一致行动,种种这些都需要高层领导和支持。
数据治理是企业信息化的一场重要变革,需要4类人的支持,分别为倡导者、跟随着、观望者和抵制者。
如何才能得到高层的支持呢?
1)将数据治理与企业战略绑定,将IT部门从成本中心逐步变为利润中心
2)敢于暴漏数据的问题,管理、业务和技术方面的问题
3)选择价值显而易见的数据治理策略,增收、降本、提效、控制风险
4)提供明确的落地方向,哪些数据、哪些管理问题、哪些流程、哪些系统,形成路线图,明确阶段内容、效果和投入等
5)引导更多的人支持,重点关注高管利益相关项目,利益干系人关注的事项
高层领导如何发挥作用呢?深度参与和充分授权与适当机会的表扬肯定。
五、数据治理技术体系建设
数据管理中的架构、建模、存储、质量、安全、集成和应用等技术都与数据治理的技术体系有关。技术体系的设计涉及到数据的采集、处理、存储、访问、应用和分析等全生命周期,要考虑静态数据,如元数据、模型、主数据、共享数据的标准化问题,还要考虑动态数据,如交易数据、数据流转、大数据、ETL等数据的生命周期管控。以下是5个典型实战案例的技术架构。
1.元数据为核心的数据治理,见下图
2.主数据为主线的数据治理,见下图
3.混合云架构下的数据治理,见下图
4.大数据架构下的数据治理,见下图
5.微服务架构下的数据治理,见下图
六、数据治理策略执行与监控
从项目经理角度,如何做好数据治理过程的沟通管理,如何监控治理的执行情况,对治理过程进行监督和控制是必须要事先考虑的问题。
数据治理包括4个过程,即发现过程、策略定义、执行和监控。
发现过程就是发现问题,识别需求的过程,获取治理需求、管理问题和存在的风险。确定治理目标和范围的过程。
策略定义需要制定治理策略、项目章程和计划
策略执行需要做好开端,做一个项目启动会、做好沟通管理,学会借势和造势,以及例行的会议和报告及时总结成果,做好宣传
策略监控包括执行情况监控,包括治理度量和评价的指标体系,以及有效性和价值监控,比如提升了哪些业务指标等
总之,数据治理是一个问题发现、定义策略、执行项目和监控成效的闭环管理过程,是一个不断迭代、循环上升的螺旋模型。
七、数据治理绩效考核
数据治理既要抓过程,更要看结果,企业要建立相应的数据治理考核办法,并将其关联到组织和个人绩效中,以保证制度的有效推进和落实。
数据治理绩效考核难以量化,只能间接形成考核指标,一般数据治理的目标就是降本、增收、提效,建立考核指标体系的3个要素为问题,目标和影响。绩效考核机制是形成并固化企业数据文化的重要手段,培养员工数据素养的手段,促进业务效率提升。
4个考核原则:公平公正、严格、公开透明、客观评价原则
6类考核指标:数据治理人员维度、数据治理问题、数据标准贯彻、治理策略执行、技术达成、业务价值实现维度。
数据质量的6种检查办法:记录数、关键指标总量分析法、历史数据对比法、值域判断、经验审核法、匹配判断法。
数据治理的4种考核方式:日常考核、定期考核,系统自动考核和人工考核。
八、数据治理长效运营
由于数据治理是一个长期持续性的工作,因此需要逐步建立长效运营机制。
长效:长期持续运行的数据治理;运营:多项数据治理活动的总称(计划、组织、实施、控制和沟通);机制:发挥预期效能的配套制度,数据治理赋能业务,数据治理要有规范、稳定、配套的制度体系。
数据治理为什么需要长效运营?数据治理的意义是运用科学的管理、先进的技术,持续调动人员的积极性、主动性和创造性。通过数据治理的长效运营,不断加强巩固数字化协同环境,巩固和扩大数据治理成果(树立数据治理旗帜、盘活存量挖掘价值、从被动到主动治理),通过以治促管、以治促用、以治促转,加速企业的数字化转型。
长效运营的挑战:组织挑战、文化认知挑战、项目转产的挑战。
如何建立长效运营机制:组织领导机制、标准规范机制、培训教育机制、人才培养机制、绩效考评机制和持续优化机制。
相关文章:

读书笔记--数据治理之法
继续延续上一篇文章,对数据治理之法进行学习。数据治理之法是战术层面的方法,是一套涵盖8项举措的数据治理实施方法论,包括梳理现状与确定目标、能力成熟度评估、治理路线图规划、保障体系建设、技术体系建设、治理策略执行与监控、绩效考核与…...

送了老弟一台 Linux 服务器,它又懵了!
大家好,我是鱼皮。 前两天我学编程的老弟小阿巴过生日,我问他想要什么礼物。 本来以为他会要什么游戏机、Q 币卡、鼠标键盘啥的,结果小阿巴说:我想要一台服务器。 鱼皮听了,不禁称赞道:真是个学编程的好苗…...

CentOS 7(2009) 升级 GCC 版本
1. 前言 CentOS 7 默认安装的 gcc 版本为 4.8,但是很多时候都会需要用到更高版本的 gcc 来编译源码,那么本文将会介绍如何在线升级 CentOS 的 gcc 版本。 2. 升级 GCC (1). 安装 centos-release-scl; [imaginemiraclecentos7 ~]$ sudo yum…...

java非静态代码块和静态代码块介绍
代码块 SE.10.0…02.28 非静态普通代码块:定义在方法内部的代码块,不用任何关键字修饰,又名构造代码块、实例代码块 静态代码块:用static修饰的代码块 非静态代码块 public class Test {public static void main(String[] args…...
Golang中接口类型详解与最佳实践(二)
之前的文章《Golang中的interface(接口)详解与最佳实践》详细介绍了接口类型的定义、使用方法和最佳实践。接口类型使得编写可扩展、可维护和可复用的高质量代码变得更加容易。 如何判断是否实现了某个接口? 还是使用之前文章的例子,例如声明了如下一个…...
ChatGPT 探讨内存屏障的意内存
一、与 ChatGPT 探讨内存屏障的意内存 轻松的氛围,跟 ChatGPT 从内存屏障问题一直扯到CAP原理 我: 2023/4/14 17:48:09 那我可以理解为{ shared_var 1; asm volatile ("sfence" ::: "memory"); asm volatile ("lfence" …...

P1039 [NOIP2003 提高组] 侦探推理
此题难度为:提高/省选- 作者为:CCF_NOI 题目描述 明明同学最近迷上了侦探漫画《柯南》并沉醉于推理游戏之中,于是他召集了一群同学玩推理游戏。游戏的内容是这样的,明明的同学们先商量好由其中的一个人充当罪犯(在明…...
模拟电路学习笔记 - 概念与结论
真空二极管,电子管ENIAC发源地,基础方法二极管双极管三极管场向管学习特性,最终运放运方的目的是运用,射频,计算…放大电路大功率元器件和微元器件学习他们的特性分粒 集成设计的角度,不要仅仅分析设计的前…...
Linux驱动开发:I2C子系统
目录 1、I2C简介 1.1 两根线 1.2 信号 1.3 写时序 1.4 读时序 1.5 I2C速率 1.6 I2C驱动框架简介 2、I2C设备驱动 2.1 I2C相关API 2.1.1 i2c_driver 2.1.2 注册:i2c_add_driver 2.1.3 注销:i2c_del_driver 2.1.4 module_i2c_driverÿ…...
[C++] 动态内存与智能指针
众所周知,C五大内存区:全局数据区(静态区)、代码区、栈区、堆区、常量区。 全局数据区(静态区):存放全局变量,静态数据和常量; 代码区:存放所有类成员函数和非成员函数代码,函数体的二进制代码。…...

多态的原理
有了虚函数,会在类的对象增加一个指针,该指针就是虚函数表指针_vfptr;虚表本质就是函数指针数组,虚表里面存放着该对象的虚函数的地址; 派生类继承有虚函数基类的对象模型 子类继承父类的虚表指针时,是对父类的虚表指针进行了拷…...

RK3588平台开发系列讲解(内存篇)Linux 伙伴系统数据结构
平台内核版本安卓版本RK3588Linux 5.10Android 12文章目录 一、 页二、区三、内存节点沉淀、分享、成长,让自己和他人都能有所收获!😄 📢Linux 系统中,用来管理物理内存页面的伙伴系统,以及负责分配比页更小的内存对象的 SLAB 分配器了。 本篇将介绍伙伴系统相关数据结…...
Windows(MFC/C++)上进程间通讯的几种简单又实用的方法
前段时间,做了一个项目,涉及数据传输。项目实现方式有很多种,但不同的实现方式,对数据的传输方法不同,且各有优缺点。 下文就不同情况来如何选择数据传输(通讯)方式。 先说说需求,模块A获取测试数据&#…...
嘉兴桐乡会计考证培训-备考中级职称有必要报班吗?
备考中级会计职称有必要报班吗?其实,备考报班不能说是必需的,但听课学习确实是节省时间的一种方式,根据同学们的反馈,自学所花费的时间远远多于跟着老师学。上元教育就整理了一些学员报班之前走过的弯路 报班之前 在2…...

java元注解和自定义注解的区别
Java的元注解和自定义注解是两个不同的概念。 元注解是Java内置的一组用于修饰其他注解的注解,包括Retention、Target、Inherited和Documented。它们可以控制被修饰的注解的保留策略、目标范围、是否继承等属性,并且可以在编写自定义注解时使用。 Retent…...
技术到底是什么
背景 我发了朋友圈:做了个奇怪的梦,梦见被离职了,理由竟然是:你技术太菜了 我补充评论:我还没想明白怎么回事,就醒了。有点遗憾的是:想再努力反驳两句,结果没机会了… 很多人评论…...

什么CRM客户管理系统最好?
产业互联网背景下,企业数字化转型日渐深化。毋庸置疑,客户是企业的命脉,企业发展的关键便是以客户为中心,为客户创造价值,并不断实现企业的可持续性增长,而这也是每个企业永不落幕的主题。 一套优秀的CRM客…...

吴军《计算之魂》读后感
前言 断断续续,终于完成了这本书的第一次通读,记录下自己的一些想法。 先说一个小故事。前段时间家里买了一个小鱼缸,问我有没有办法让水自动循环,但不想用电。没有好的想法,去小某书上搜了下,好多案例教…...

CSS进阶
01-复合选择器 定义:由两个或多个基础选择器,通过不同的方式组合而成。 作用:更准确、更高效的选择目标元素(标签)。 后代选择器 后代选择器:选中某元素的后代元素。 选择器写法:父选择器 …...

金兰组织 | 2023金兰解决方案集经营管理篇正式发布
为助力企业创新管理、提质增效,人大金仓携手金兰组织成员单位,于近期发布多项经营管理领域的联合解决方案,共享创新应用成果。 /人大金仓高级副总裁宋瑞/ 人大金仓高级副总裁宋瑞在致辞中表示:“联合解决方案创新是指通过把不同领…...

C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

安宝特方案丨XRSOP人员作业标准化管理平台:AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业,其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进,需提前预防假检、错检、漏检,推动智慧生产运维系统数据的流动和现场赋能应用。同时,…...

Linux相关概念和易错知识点(42)(TCP的连接管理、可靠性、面临复杂网络的处理)
目录 1.TCP的连接管理机制(1)三次握手①握手过程②对握手过程的理解 (2)四次挥手(3)握手和挥手的触发(4)状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...
在Ubuntu中设置开机自动运行(sudo)指令的指南
在Ubuntu系统中,有时需要在系统启动时自动执行某些命令,特别是需要 sudo权限的指令。为了实现这一功能,可以使用多种方法,包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法,并提供…...

IT供电系统绝缘监测及故障定位解决方案
随着新能源的快速发展,光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域,IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选,但在长期运行中,例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...
LangChain知识库管理后端接口:数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块,用于对本地知识库系统中的知识库进行增删改查(CRUD)操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...

【C++进阶篇】智能指针
C内存管理终极指南:智能指针从入门到源码剖析 一. 智能指针1.1 auto_ptr1.2 unique_ptr1.3 shared_ptr1.4 make_shared 二. 原理三. shared_ptr循环引用问题三. 线程安全问题四. 内存泄漏4.1 什么是内存泄漏4.2 危害4.3 避免内存泄漏 五. 最后 一. 智能指针 智能指…...
python爬虫——气象数据爬取
一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用: 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests:发送 …...
Linux安全加固:从攻防视角构建系统免疫
Linux安全加固:从攻防视角构建系统免疫 构建坚不可摧的数字堡垒 引言:攻防对抗的新纪元 在日益复杂的网络威胁环境中,Linux系统安全已从被动防御转向主动免疫。2023年全球网络安全报告显示,高级持续性威胁(APT)攻击同比增长65%,平均入侵停留时间缩短至48小时。本章将从…...
Android屏幕刷新率与FPS(Frames Per Second) 120hz
Android屏幕刷新率与FPS(Frames Per Second) 120hz 屏幕刷新率是屏幕每秒钟刷新显示内容的次数,单位是赫兹(Hz)。 60Hz 屏幕:每秒刷新 60 次,每次刷新间隔约 16.67ms 90Hz 屏幕:每秒刷新 90 次,…...