浅谈数据治理
大家好 ,近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。那么,数据治理到底治什么?
数据治理与数据管理
数据治理
数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。
数据管理
数据管理为实现数据和信息资产价值的获取、控制、保护、交付以及提升,对政策、实践和项目所做的计划、执行和监督。
数据治理是回答企业决策的相关问题并制定数据规范,数据管理是实现数据治理提出的决策并给予反馈,因此数据治理和数据管理的责任主体也是不同的,前者是董事会,后者是管理层。国际标准化组织 ISO 指出,数据治理履行数据管理的主要职能,即数据治理规定在管理的过程中哪些决策应被制定,以及决策者为谁,而数据管理确保这些决策的制定与执行。
概念和定义
数据治理的可以分为 广义数据治理 和 狭义数据治理
狭义数据治理
狭义的数据治理指的是数据资源及其应用过程中相关管控活动、绩效和风险管理的集合,保证数据资产的高质量、安全及持续改进。狭义的数据治理的驱动力最早源自两个方面:
- 内部风险管理的需要,风险包括数据质量差影响关键决策等
- 为了满足外部监管和合规的需要。
但随着全球越来越多的企业认识到信息资产的重要性和价值,在过去几年中,数据治理的目标也在发生一些转变。除满足监管和风险管理外,如何通过数据治理来创建业务价值备受关注。
广义数据治理
广义的数据治理看的含义大一狭义数据治理,包括数据管理和数据价值“变现”,具体包括数据架构、主数据、数据指标、时序数据、数据质量、数据安全等一系列数据管理活动的集合。
数据资产
数据资产定义
数据资产是指由企业拥有或者控制的,能够为企业未来带来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非说有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。在这个定义中包含3个要素。
- 拥有或者控制:除企业内部的数据外,通过各种渠道合法获取的外部数据也属于企业数据资产。
- 带来经济价值:体现了资产的经济属性,本来能给企业带来的经济利益。
- 数据资源:数据资产包括以物理或者电子方式记录的数据、软件、服务等。
数据资产的管理
数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交互和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产的保值、增值。
核心内容
完整的数据治理包括战略、组织、制度、流程、绩效、标准、工具、数据价值、数据共享、数据变现。
工业数据治理体系,包括数据战略、数据治理管控体系(数据治理组织、制度、流程、管控机制、绩效体系及标准体系)、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等许多方面。
数据战略
数据战略是整个数据治理体系的首要任务,是企业开展数据治理工作首先应该考虑的事。数据战略应由数据治理组织中的决策层制定,需要指明数据治理的方向,包括数据治理的方针、政策等。
数据战略能力域关注整个组织数据战略的规划,愿景和落地实施,为组织数据管理、应用工作的开展提供战略保障,组织的数据战略需要和业务战略保持一致,并且要在利益相关者之间达成一致。
数据战略已成为企业精细化数据管理不可或缺的基础,只有切实落实好数据战略工作,才能提升企业数据质量、实现企业数据价值升华,为企业数字化转型奠定基础。
数据资产顶层设计不仅仅是一个报告、一份文件,更是企业系统性设计未来的大胆假设、小心求证、集体沟通、达成共识、形成机制、颁发军令状的过程。
数据资产顶层规划设计方法论
正确的顶层设计是企业家对未来形势的正确判断,对机会和战略,治理与架构,资本和模式,供应链和数字化,品牌和营销,产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争,那么顶层设计则是整体战的部署
组织管理
建立合适的数据治理组织是企业数据治理的关键。数据治理的组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作,而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标,非常有必要建立体系化的组织架构,明确职责分工。
制度体系
企业的数据治理必须要有相关制度,否则无法可依,再好的技术工具也没有用。因此,建立完善的数据治理制度很重要。
保障组织架构正常运转和数据治理各项工作的有序实施,需要建立一套涵盖不同管理粒度、不同适用对象,异覆盖数据治理过程的管理制度体系,从“法理”层面保障数据治理工作有据、可行、可控。数据治理制度框架分为政策、制度、细则、手册4个梯次。
数据治理制度框架
企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定,往往包含数据质量管理、数据标准管理、数据安全管理、数据绩效管理等制度,以及元数据管理、主数据管理、交易数据管理、数据指标管理等办法及若干指导手册。
流程管理
制定数据治理的流程框架也是数据治理的重要工作。
数据治理流程主要包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤,以及元数据管理、主数据管理、数据指标管理等流程。
数据治理流程框架体系
绩效管理
数据治理考核是保障数据治理制度落实的根本,是一种正式的员工评估制度,通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果,进一步激发员工的积极性和创造性,提供员工的数据治理责任心和基本素质。
数据治理绩效体系
要使数据治理的体系运转好,必须要有好的激励体系。数据绩效管理包括数据管理指标、数据认责机制、数据考核标准、数据管理的奖惩机制,以及绩效管理过程的一系列活动集合。
标准体系
数据标准是实现数据标准化、规范化的前提,是保证数据质量的必要条件。
数据标准一般分为元数据标准、主数据标准、交易数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。数据标准管理是规范数据标准的内容、程序和方法的活动,分为标准制定、标准实施和控制、标准修订等。
质量体系
数据质量是指数据的适用性,描述数据对业务和管理的满意度。数据质量主要指数据的准确性、及时性、完整性、唯一性、一致性,有效性六个方面。
数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性,提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。
数据质量管理贯穿数据生命周期的全过程,除了明确数据质量管理的策略,还要善于使用数据质量管理的手段及工具,覆盖数据质量需求、数据探查、数据诊断、质量评估、数据监控、数据清洗、质量提升等方面。
安全体系
数据安全管理是为了确保数据隐私和机密性得到维护,数据不被破坏,数据被适当访问。通过采用各种技术和管理措施,保证数据的机密性、完整性和可用性。
数据安全体系框架通过3个维度构建而成,包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时,需要在技术上实现对数据的实时监管,并配合经过规范培训的安全组织人员,构成了数据安全治理整体架构的建设。
数据安全治理能力建设并非单一产品或平台的构建,而是建设一个覆盖数据全部生命周期和使用场景的数据安全体系,需要从决策到技术,从制度到工具,从组织架构到安全技术通盘考虑。
平台工具
搭建云数智一体化数据平台,满足前台应用准确性、快速性和多样性的数据需求,缩短研发周期、降低技术成本,将数据中心逐步由成本中心向资产中心转变,提升数据价值,实现五个打通:
(1)横向打通:破除部门壁垒,打通专业。横向跨专业间的分析挖掘融通;
(2)纵向打通:内部多层级数据打通,形成统一资源目录。上下级数据共享交换;
(3)内外打通:消除内外数据的鸿沟,实现内外部数据的关联分析;
(4)管理打通:建立企业标准,实现统一管理统计口径;
(5)服务打通:数据中台统一对外提供数据服务和应用构建,与业务系统和数据应用充分协同。
顶层架构
- 管控域在数据治理战略指导下制订企业数据治理组织,明确组织的责、权、利,岗位编制及技能要求。
- 治理域:是数据治理的主体,明确数据治理的对象和目标。
- 技术域:数据治理的支撑手段,指的工具平台。
- 过程域:是数据治理的方法论。
- 价值域:数据治理的目标就是通过对数据资产的管控挖掘数据资产的价值,并通过数据的流动、共享、交易变现数据资产。
数据治理的9大功能模块
主要包括元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理9大功能模块。
相关文章:
浅谈数据治理
大家好 ,近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大数据架构下,为数据资源中心与外部数据系统提供数据…...
Matlab入门教程003|MATLAB变量|MATLAB命令
MATLAB变量 每个MATLAB变量可以是数组或者矩阵。 用一个简单的方法指定变量。例如: x 3 % defining x and initializing it with a value MATLAB执行上述语句,并返回以下结果: x 3 上述的例子创建了一个1-1的矩阵名为x和的值存储…...

【啃书C++Primer5】-编写一个简单C++程序
每个C程序都包含一个或多个函数(function),其中一个必须命名为main。操作系统通过调用main来运行C程序。下面是一个非常简单的main函数,它什么也不干,只是返回给操作系统一个值: int main() {return 0; }一个函数的定义包含四部分:返回类型(r…...

GoView 是一个Vue3搭建的低代码数据可视化开发平台
一、总览 开源、精美、便捷的「数据可视化」低代码开发平台 二、整体介绍 框架:基于 Vue3 框架编写,使用 hooks 写法抽离部分逻辑,使代码结构更加清晰; 类型:使用 TypeScript 进行类型约束,减少未知错误…...

【面试篇】Redis持久化面试题
文章目录 Redis持久化🙎♂️面试官:什么是Redis持久化? AOF日志AOF日志原理🙎♂️面试官:AOF日志是怎么工作的/AOF写入磁盘的流程?🙎♂️面试官: 刚刚说到了Redis先执行写入的…...

哈工大软件过程与工具作业2
云原生技术云原生技术 哈尔滨工业大学 计算机科学与技术学院/国家示范性软件学院 2022年秋季学期 《软件过程与工具》课程 作业报告 作业 2:需求分析UML建模 姓名 学号 联系方式 石卓凡 120L021011 944613709qq.com/18974330318 目 录 1 需求概述...........…...
SDN控制器三平面(软件定义网络、OOB)
目录 又名 三个独立的平面或层 SDN数据流 控制流量的带外(OOB) 优势 技术...
嘉兴桐乡会计考证实操-考初级会计真的有用吗?
一边说着:考初级会计门槛太低了,谁都能考;一边又争先恐后的去报考,考初级会计真的是有用的吗?为什么这么多人一边说考了没用却一直在努力备考呢? 关于这类的话题,其实一直都存在,但不…...

约翰霍普金斯大学诺奖得主涉嫌造假,撤回5篇PNAS论文
2019年,约翰霍普金斯大学的著名基因医学科学家Gregg L. Semenza博士因为“发现细胞如何感知和适应氧气供应”,和另外两名科学家( William Kaelin Jr. and Peter J. Ratcliffe)分享当年的生理医学诺贝尔奖。 近期,Gregg…...

React的表单数据绑定
当我们在页面中使用表单提交数据时,react是如何拿取表单数据的呢 这里通过两种方式来实现 非受控组件实现 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" conte…...

Dubbo——微服务框架(单体式->分布式->微服务)
是什么? Dubbo是阿里巴巴开源的基于Java的高性能RPC(一种远程调用)分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案,它提供了三大核心能力:面向接口的远程…...
【Spring Cloud】Feign传递HttpServletRequest
这里我的业务场景是:在请求头中获取服务端登录时传给客户端的token,并且客户端将token放在请求头中。以至于我需要在参数传递上传入HttpServletRequest。如果你非要向我一样传入HttpServletRequest对象那么就往下看,当然你如果可以改成其他参…...

烟火识别智能监测系统 yolov5
烟火识别智能监测系统基于pythonyolov5网络模型算法智能分析技术,烟火识别智能监测算法模型对现场画面进行实时分析,发现现场出现烟火立即抓拍实时告警。我们选择当下卷积神经网络YOLOv5来进行火焰识别检测。6月9日,Ultralytics公司开源了YOL…...

【Python入门】Python循环语句(while循环的基础语法)
前言 📕作者简介:热爱跑步的恒川,致力于C/C、Java、Python等多编程语言,热爱跑步,喜爱音乐的一位博主。 📗本文收录于Python零基础入门系列,本专栏主要内容为Python基础语法、判断、循环语句、函…...
JS中 Math 和 Number 内置对象常用的一些方法
JS中 Math 和 Number 内置对象常用的一些方法 Math.abs(num)Math.ceil(num)Math.floor(num)Math.max(num1, num2, ... , numN)Math.min(num1, num2, ... , numN)Math.pow(base, exponent)Math.random()Math.round(num)Math.sqrt(num)Number.toFixed(digits)Number.toString(rad…...

Docker的使用 (1.什么是docker)
前言 这个系列是我自己学习使用docker的记录和分享,作为一名开发人员,你需要了解这个东西并且学会它的简单使用,但是作为一名开发而不是运维,不要花过多的时间去深究它的原理,而是把它当作一个工具即可 docker Docke…...

ENVI无缝镶嵌Seamless Mosaic工具镶嵌、拼接栅格遥感影像(所有图像需要含有地理信息)
本文介绍基于ENVI软件,利用“Seamless Mosaic”工具实现栅格遥感影像无缝镶嵌的操作。 在ENVI软件中通过“Pixel Based Mosaicking”工具实现栅格遥感影像的镶嵌的方法。这一工具虽然可以对不含有地理参考信息的遥感影像进行镶嵌,但是其镶嵌的整体效果并…...

Java-API简析_java.lang.Integer类(基于JDK1.8)(浅析源码)
【版权声明】未经博主同意,谢绝转载!(请尊重原创,博主保留追究权) https://blog.csdn.net/m0_69908381/article/details/130730986 出自【进步*于辰的博客】 其实我的【Java-API】专栏内的博文对大家来说意义是不大的。…...

WebSocket的那些事(3-STOMP实操篇)
目录 一、序言二、STOMP详解1、STOMP简单介绍2、STOMP协议内容3、使用STOMP的好处 三、代码示例1、Maven依赖2、开启WebSocket消息代理3、控制器4、前端页面greeting.html 四、测试1、连接服务端2、发送消息 五、STOMP消息传播流程六、结语 一、序言 上节中我们在 WebSocket的…...

《花雕学AI》WeTab+ChatGPT:让浏览器变成你的智能助手
引言: 浏览器是我们日常使用的最重要的工具之一,它可以帮助我们获取信息、娱乐、学习、工作等。但是,传统的浏览器往往不能满足我们的个性化需求,也不能给我们提供智能化的服务。那么,有没有一种浏览器可以让我们的体…...

【AI News | 20250609】每日AI进展
AI Repos 1、OpenHands-Versa OpenHands-Versa 是一个通用型 AI 智能体,通过结合代码编辑与执行、网络搜索、多模态网络浏览和文件访问等通用工具,在软件工程、网络导航和工作流自动化等多个领域展现出卓越性能。它在 SWE-Bench Multimodal、GAIA 和 Th…...

SDU棋界精灵——硬件程序ESP32实现opus编码
一、 音频处理框架 该项目基于Espressif的音频处理框架构建,核心组件包括 ESP-ADF 和 ESP-SR,以下是完整的音频处理框架实现细节: 1.核心组件 (1) 音频前端处理 (AFE - Audio Front-End) main/components/audio_pipeline/afe_processor.c功能: 声学回声…...
codeforces C. Cool Partition
目录 题目简述: 思路: 总代码: https://codeforces.com/contest/2117/problem/C 题目简述: 给定一个整数数组,现要求你对数组进行分割,但需满足条件:前一个子数组中的值必须在后一个子数组中…...
ubuuntu24.04 编译安装 PostgreSQL15.6+postgis 3.4.2 + pgrouting 3.6.0 +lz4
文章目录 下载基础包下载源码包编译 PG编译 postgis编译安装 pgrouting下载源码包配置编译参数编译安装 初始化数据库建表并检查列是否使用了 lz4 压缩算法检查 postgis 与 pgrouting 是否可以成功创建 下载基础包 sudo apt update && sudo apt upgrade -y sudo apt i…...

【web笔记】JavaScript实现有动画效果的进度条
文章目录 1 实现效果2 实现代码 1 实现效果 2 实现代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"utf-8"><style>#progress {width: 300px;height: 20px;border-radius: 0; /* 移除圆角 */-webkit-appearance…...
力扣-131.分割回文串
题目描述 给你一个字符串 s,请你将 s 分割成一些 子串,使每个子串都是 回文串 。返回 s 所有可能的分割方案。 class Solution {List<List<String>> res new ArrayList<>();List<String> path new ArrayList<>();void…...
数据库、数据仓库、数据中台、数据湖相关概念
文章目录 序言1数据库,数据仓库,数据中台,数据湖-概念对比释义1.1概念产生的时间顺序1.2在使用功能方面对比1.3在使用工具方面对比 2数据仓库2.1数据仓库的发展阶段2.2 数据仓库的设计2.3数据仓库常用工具,方法2.3.1分析型数据库和…...
MCP(Model Context Protocol)与提示词撰写
随着大模型(LLM)在复杂任务中的普及,如何让模型高效调用外部工具和数据成为关键挑战。传统函数调用(Function Calling)依赖开发者手动封装 API,而 MCP(Model Context Protocol) 通过…...

让音乐“看得见”:使用 HTML + JavaScript 实现酷炫的音频可视化播放器
在这个数字时代,音乐不仅是听觉的享受,更可以成为视觉的盛宴!本文用 HTML + JavaScript 实现了一个音频可视化播放器,它不仅能播放本地音乐、控制进度和音量,还能通过 Canvas 绘制炫酷的音频频谱图,让你“听见色彩,看见旋律”。 效果演示 核心功能 本项目主要包含以下…...

【大模型】【推荐系统】LLM在推荐系统中的应用价值
文章目录 A 论文出处B 背景B.1 背景介绍B.2 问题提出B.3 创新点B.4 两大推荐方法 C 模型结构C.1 知识蒸馏(训练过程)C.2 轻量推理(部署过程) D 实验设计E 个人总结 A 论文出处 论文题目:SLMRec:Distilling…...