穿越数据的迷宫-数据管理知识介绍

一、权威书籍介绍

《穿越数据的迷宫》

本书分12章重点阐述了数据管理的重要性，数据管理的挑战，DAMA的数据管理原则，数据伦理，数据治理，数据生命周期管理的规划和设计，数据赋能和数据维护，使用和增强数据，数据保护、隐私、安全和风险管理，元数据管理，数据质量管理，以及现在应该怎么办，能够帮助企业管理层在了解和执行数据管理的过程中不致迷失在技术术语的迷宫之中。

本书可供非数据专业人士、企业管理者、数据行业研究者等读者学习和参考。

《DMBOK2》

数据管理领域的PMBOK，由DAMA进行编撰。

DAMA（国际数据管理协会）成立于1980年，是一个由技术和业务专业人员组成的国际性数据管理专业协会，作为一个非营利的机构，独立于任何厂商，旨在世界范围内推广并促进数据管理领域的概念和最佳实践，为数字经济打下理论和实践基础。

全球会员2万人，在世界共有52个分会。DAMA China （国际数据管理协会中国分会）

职能：年会（EDW）-知识体系-认证考试（CDMP、CDGA、CDGP等）

DAMA框架

车轮图

描述知识管理领域10大子领域

六边形图

描述人、技术、过程之间的关系

知识领域语境关系图 

SIPOC（供给者、输入、活动、交付成果和消费者） 

二、数据管理概念介绍

数据管理与数据治理

数据管理>数据治理

数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据

为什么做数据治理？

数据治理是数据由原始数据到数据资源到数据资产到数据产品实现数据价值变现的过程。

不要为了治理而治理。围绕业务，围绕监管/法律规定进行治理。目标是使组织能够将数据作为资产进行管理，并从中获取价值。

监管驱动的数据治理——EAST5.0 

      2022年1月30日，银保监会正式发布《中国银保监会银行业金融机构监管数据标准化规范（2021版）》，标志EAST系统从4.0迈入5.0阶段。根据新规要求，银保监会对商业银行数据标准化数据报送的采集范围、报送要求以及数据质量等各方面再次升级，进一步完善了数据采集与报送的完备性、完成性和规范性。

什么是数据治理

当前企业数据面临很多的问题：没有统一的数据标准，各业务系统间数据无法充分共享，关键核心数据无法识别及跨系统无法拉通等。为有效管理企业数据资产，实现数据价值的最大化，急需建立一个完善的数据治理框架体系，为企业数字化转型打下坚实的数据基础。

总的来说，数据治理是人、工具及制度的一些列集合。

数据管理角色（人）

数据治理功能全景（工具）

数据相关的制度及规范（制度）

三、数据安全管理

数据安全管理是指通过规范和加强对企业或个人数据的管理和保护，确保数据的机密性、完整性和可用性，从而保护数据的安全性和可靠性。

1、数据安全管理的法律法规要求：

在法律法规方面，各国政府对数据保护制定了相关的法律法规，例如《中华人民共和国网络安全法》、《个人信息保护法》等，这些法规规定了数据安全的管理要求和责任，以及数据泄露和违规行为的处罚。以下是本文整理的一些数据安全相关的法律法规及标准系列的整理：

2、DSMM-信息安全技术 数据安全能力成熟度模型

数据安全成熟度模型DSMM（Data Security Maturity Model）是一种基于流程和方法的模型，用于评估和改进组织在数据安全方面的能力。DSMM模型的优点是能够帮助组织全面评估和改进其数据安全能力，同时也能够提供实际可行的解决方案，使组织能够逐步提高其数据安全成熟度。

维度包括安全能力维度、安全过程维度、能力成熟度等级维度。

同时，按照数据的生命周期划分未7大过程域。

3、数据安全分级分类管理

在数据安全管理中，需要进行数据安全分级分类管理。这是根据数据的重要性、敏感程度、安全风险等因素，对数据进行分类和评估，然后制定相应的保护措施和管理策略。例如，将数据分为核心数据、关键数据和一般数据，针对不同类别的数据制定不同的安全管理策略和技术措施。同时，数据分类和管理也可以帮助企业或个人更好地了解数据的价值和安全风险，从而采取相应的风险控制和防范措施。

数据安全策略：敏感字段加密、访问权限控制......

元数据管理

元数据是描述数据的数据，数据治理的开始。让你更了解你的数据，从而分析你的数据。

最简单的元数据管理模式——数据字典。

主数据管理（MDM）

定义：主数据是指满足跨部门业务协同需要的、反映核心业务实体状态属性的企业（组织机构）基础信息。

主数据：客户信息、组织机构信息、地址坐标、产品及服务数据、合同总账数据....

参考数据：参考数据是指可用于描述或分类其他数据（码表、映射表......）

主数据管理的案例：五证合一

如何识别及维护是重点！一个主数据管理系统，达成主数据的识别及维护。

数据质量管理——资产价值的核心

2023年10月某小区用电户户电费为1000度；小明的身高为33米；小红的电话号码为18922098765111。以上数据从主观常识上判断就可以判断数据不准确。

判断数据质量可以从准确性、完备性、及时性、重复性、一致性及合规性上进行考量。

数据质量的要求是治理的动力之一也是数据资产化路上的绊脚石。因为数据质量问题发生的原因五花八门，很难从根本上进行治理。

如何进行质量管理，主流的做法是建立一站式数据质量管理中心DQC，建立完善、清晰的数据标准，从数据各环节进行全面的质量管控。但是数据质量管理是需要成本的，非所有数据均需要进行质量监控，要从对业务最重要的数据开始。

数据治理从何处入手？

数据管理成熟度评估——DCMM

数据管理成熟度评估模型（DCMM）是一种针对组织内部数据管理流程进行评估的框架。该框架分为5个等级，每个等级代表了数据管理成熟度的不同程度。组织应该根据自身情况和需求，灵活运用DCMM的框架，以提高数据管理的效率和质量。

截止2023年9月，贯标企业总数量为1305家，其中甲方公司的数量占据了65%，而乙方公司数量占比35%。值得注意的是，71%企业的等级为2级受管理级，仅有7家企业等级达到了最高级别的优化级。这些优化级的企业全部都是甲方公司，主要分布于北京市及广东省。

数据治理如何实施

数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。

数据是资产

数据是一种资产，在数据要素化的大背景下是毋庸置疑的。如何进行资产评估呢，DAMA从替换成本、市场价值、发现上级、售卖数据及风险成本等几个方面进行描述。

 数据资产价值评估体系样例：

四、数据治理体系及落地

阿里巴巴OneData数据体系

OneData数据中台解决方案基于大数据存储和计算平台为载体，以OneModel统一数据构建及管理方法论为主干，OneID核心商业要素资产化为核心，实现全域链接、标签萃取、立体画像，以数据资产管理为皮，数据应用服务为枝叶的松耦性整体解决方案。其数据服务理念根植于心，强调业务模式，在推进数字化转型中实现价值。

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算平台，并开放可拓展的能力，以适应不同行业客户的平台技术架构和特定诉求。

华为DAYU数据治理体系

DAYU数据治理方法论是华为数据管理方法论的精华总结，参考了业界数据治理最佳实践，并结合华为数字化转型成功经验优化而成。

数据治理中心 DataArts Studio：一站式数据全生命周期管理工具平台，库仓湖智全流程治理，助力数据价值释放

案例：广东省数据资源一网共享平台

开放广东：https://gddata.gd.gov.cn/index

某数据治理产品demo功能演示

https://wise.esensoft.com/

五、数据治理典型问题

只有大数据才需要治理吗？

大数据时代的来临将数据治理问题及挑战推到了风口浪尖。不以数据的大小，按照数据对业务的重要程度进行治理。

数据安全与我无关？

树立数据安全意识，数据安全与每个人息息相关。实行‘双罚制’，将不仅处罚企业，还要处罚企业责任人。

“双罚制”是指对于企业的行政违法行为，同时给予企业及相关责任人员行政处罚的法律责任制度。我国的几部与数据相关的法律均规定了“双罚制”，“双罚制”为我国的企业合规管理体系建设留下了很大空间。例如《数据安全法》第四十五条规定，对于不履行数据安全保护义务的单位，由有关主管部门责令改正，根据不同情节给予警告、罚款、责令暂停相关业务、停业整顿、吊销相关业务许可证或者吊销营业执照，对直接负责的主管人员和其他直接责任人员处以罚款。《个人信息保护法》的罚则规定了“责令暂停或者终止提供服务”、“并处五千万元以下或者上一年度营业额百分之五以下罚款”、“吊销相关业务许可或者吊销营业执照”等严厉的处罚措施。企业在个人信息处理方面违法行为，导致的高额罚款或吊销营业资格等行政处罚危及企业的正常经营，建立起一套合规管理体系对企业变得更有实际意义。

中台=数据治理？

数据中台是数据管理/治理的工具之一。3分技术7分管理及运营

狭义的数据中台指在企业内部通过对数据半成品、算法、模型、工具等能力的积累，支撑业务应用，为前台提供数据能力的企业级数据中枢平台。狭义数据中台聚焦在数据服务的生产和提供，并不包括数据本身的生产、加工、传输等基础性工作。

广义的数据中台是企业数据价值实现的能力框架，包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化，是企业级数据价值生产的中枢平台。

数据治理完成后可以一劳永逸？

一些列项目集合，演进而非革命

数据治理是数据/技术部门的事？

自上而下，全局视角，统筹协作。

大数据未来发展趋势

应用：资产化、要素化，交易流通加快

技术：一体化数据管理平台（研发、治理、运营）、DataOps、低代码化、联邦学习、隐私计算......

其他大数据相关书籍推荐

《华为数据之道》

《一本书讲透数据治理：战略、方法、工具与实践》

《阿里巴巴大数据之路》

《数据仓库工具箱(第3版)——维度建模权威指南》