当前位置: 首页 > news >正文

「数据架构」MDM实现失败的主要原因

b421b21fabf7b83718481e58e10a447f.jpeg

我经常参与一个组织的MDM程序,当他们在一个失败的项目之后向InfoTrellis请求帮助进行清理,或者开始尝试X,以实现对某些人来说非常困难的目标时。主数据管理实现失败的原因有很多,但是没有一个是由于在这些场景中使用的责备游戏的原因。大多数的失败来自于人们没有准备好的常见问题。

让我们来看看MDM实现失败的几个主要原因。最后,他们可能不会让你感到惊讶,但如果你还没有经历过,你会更好地准备好面对他们。

低估了工作

我从这个开始,因为它引出了许多其他的,并且是一个复杂的主题。评估工作量似乎很简单,但是MDM项目有很多不明显的方面,它们会严重影响时间安排和您的成功。

“这只是一个普通的项目”

首先,MDM不是一个项目,而是一段旅程,或者至少是一个程序。

大多数考虑实现MDM的组织都是大型跨国公司。即使是那些刚起步时规模较小、后来经历了增长的中型企业,也面临着与全球规模的码头相同的问题。尽管一家全球性公司的混乱规模可能看起来要大得多,但与规模较小的公司相比,它们也有多得多的资源来解决问题。

如果我们坚持将MDM party域作为参考点(大多数组织都是从MDM开始的),那么与party信息相关的源或接触点的数量可能是惊人的。你可能有这样的系统:

  1. -管理产品或服务的销售

  2. -管理与你打交道或签订合同的供应商

  3. -提取数据到数据仓库,用于客户分析和供应商绩效

  4. -人力资源系统,以管理员工,也可能是客户

  5. -自助服务客户入口

  6. -营销活动管理制度

  7. -客户通知系统

许多其他的

许多大型组织将拥有所有这些系统,每个系统都有多个应用程序,并且常常有多个系统负责相同的业务功能。所以现在你可能会说,是的,我知道这个,然后呢?您的MDM“项目”需要位于所有这些中间,在很多情况下,由于许多系统是基于遗留大型机的系统,所以您需要保持透明,因为这些系统不允许更改。

MDM可以用于组织正在进行的许多转换计划,以替换陈旧的遗留系统,并迁移到基于现代分布式面向服务体系结构的解决方案。

大爆炸永远不会成功

现在我们已经看到了MDM问题的潜在大小,让我提醒您不能一次完成所有工作。当然,你可以计划你的大规模转型计划并执行它——但如果你曾经真正做过其中的一个,你就会知道它比看起来要困难得多,结果通常也不像你预期的那样令人满意。你最终会偷工减料,搞砸预算,错过时间线,只为了交付工作而取消工作范围。

在MDM转换项目中出现这种情况的典型原因是什么?

你不知道你不知道什么

您将与所有这些系统进行集成,在很多情况下,您需要保持透明,因为这些系统可能不知道它们将与新的MDM解决方案进行交互。你需要知道的事情如下:

  • 他们使用什么数据?多长时间?多少钱?什么时候?

  • 他们会更新数据吗?多长时间?如何?什么?

  • 他们需要知道其他人所做的改变吗?更改通知需要多久发出一次?他们需要知道它改变了吗,或者改变是什么?

这类信息似乎很直接。我没有告诉你任何你可能不知道的事情,但是,当你问这些问题时,你很可能得到的答案是:

“我不知道.”

好吧,文档不是很新(我是出于好意),但是你要去寻找答案。这就引出了下一个问题。

没有足够的资源

这是一个很容易解决的问题。我将雇佣更多的业务分析师,让更多的开发人员来查看代码,让更多的项目经理来保持他们在正轨上。看起来像是一个计划,表面上看起来像是一个显而易见的答案,(忽略了现在找到可用的it人员有多么困难),但是这些并不是问题所在。

你没有足够的主题专家(SME)。

BA、开发人员和其他人都需要您的主题专家的时间。主题专家已经很忙了,因为他们是主题专家。通常没有足够的系统来处理它们,如果您有很多系统要处理,那么您将面临大量的IT和中小企业。

您的中小企业带来的是知识产权。知识产权是成功实施的关键。您将需要您的sme为您的各种系统带来的知识,但是您将需要另一种类型的知识产权,并且可以与一个非常漫长的过程相关联。

通过治理进行数据管理

为了能够掌握您的信息,您需要合并来自多个来源的数据,并且需要清楚地定义这些信息的含义和用法。来自一个来源的看似相同的信息可能有不同的含义。数据治理是能够建立对主数据至关重要的企业数据定义的关键需求。即使在成熟的环境中,这也是一项具有挑战性的任务,并且会消耗大量的时间和资源。

数据治理可能看起来是一项有问题且耗时的工作,但它是一种有效的工具,可用于解决在尝试建立公共主数据集时将面临的其他主要障碍之一。

这是我的数据

许多组织被组织成筒仓。筒仓的设计是为了照顾他们自己的利益,提供资金以维持他们的业务目标,并在资源和资金方面具有竞争力。虽然任何组织的最终目标都是组织的成功,但竖井是根据其本身来衡量其成功的。

MDM实现本质上与基于竖井的组织不一致,因为主数据是对某个业务部门有价值的数据,因此跨越竖井。在许多组织中,危险在于一个特定的竖井比另一个竖井具有更大的影响力,通常与业务的收入线有关。这种权力的过度平衡很容易对主数据实现产生不适当的影响,使其成为division X的另一个项目,而不是供所有人共享的企业资源。

数据治理是帮助控制这种情况的关键因素之一。您的数据治理委员会将由所有利益相关者的代表组成,给予所有人平等的代表权。数据治理的跨组织特性也是决策可能是一个困难而漫长的过程的原因,因为它需要跨所有筒仓的共识。

除了企业数据定义之外,主数据管理的另一个重要方面是建立业务规则。

太多的规则

需要涉及业务和数据治理,以建立以下业务规则:

  1. 将数据加载到MDM应用程序的ETL过程

  2. 从多个来源更新信息

  3. 匹配规则

  4. 生存规则

规则的建立是为了解决MDM要解决的一个大问题:数据质量。组织希望同时管理负载数据质量和正在进行的数据质量。人们常犯的一个大错误就是试图马上引入太多的规则。

在早期使用过多的规则会对MDM解决方案的初始数据负载产生很大的影响。您已经准备好投入生产,并且很可能第一次尝试实时数据,结果却发现大量记录由于业务规则而被拒绝。您的数据加载现在失败了,您需要回过头来重新考虑您的规则,修改您的ETL过程,然后再试一次。

您最终获得了您的数据加载,您的消费者已经开始使用数据,您的遗留事务正在失败。为什么他们失败了?因为应用程序没有根据业务规则验证输入,也没有收集足够的信息来满足规则。

当然,有一种方法可以降低这种风险,但通常做得不够好,有时甚至根本没有做。

分析(Profiling)什么?

数据分析是一项重要的任务,它有助于理解数据的外观和需要计划的内容。由于您的参与方主数据很可能包含个人身份信息(PII),并且出于安全原因,访问将受到限制,所以常常存在许多分析障碍。您必须克服这些障碍,因为数据分析是预见将使您在未来偏离轨道的问题的唯一方法。

数据概要分析可能是一项重要的任务,因为每个源系统都需要概要分析。随着您对数据的了解越来越多,您将有更多的问题需要回答。所有这些分析都需要时间,并且很可能需要特定资源的时间,因为只有它们可以访问您需要的信息。(资源问题又出现了。)

项目管理是我的问题吗?

到目前为止,还没有听说MDM实现失败的神奇原因。事实上,许多问题似乎与任何IT项目可能失败的典型原因有关:

  1. 低估了工作

  2. 没有足够的资源

  3. 尝试一次做太多事情(包括范围渐变)

  4. 发现所需时间

MDM实现的一个不太典型的方面是需要数据治理。数据治理不仅为您提供您试图掌握的信息的企业视图,而且还可以是处理竖井之间的竞争议程的有效方法。

数据治理也是实现持续成功的关键因素之一。由于MDM是一段旅程,而不是一个项目,所以成功实现的一个特征是寿命长。一旦您交付了您的基础,接下来的阶段将在基础上构建并提供更多的主数据覆盖。为了确保实现的持续成功,您将需要数据治理的支持,以确保新系统和对现有系统的升级使用主数据,而不只是创建它们自己的孤岛。

在过去,我们试图实现主数据管理今天所承诺的目标,但是由于缺乏控制和治理,我们最终使用MDM纠正数据蔓延。一旦项目结束,主数据管理的角色就不会结束。认识到必须建立流程和规则,不仅要创建主数据存储,还要维护主数据存储并将其集成到系统中,这一点很重要。主数据管理与新软件产品的安装和配置无关。产品是使工作更容易的推动者。规则、治理过程和实施的建立将为您带来成功。

每一个主数据管理实现都需要的最后一件事是强有力的执行支持,没有它,您几乎注定要失败。您的MDM实现将花费数年时间。你将需要持续的资金和支持才能踏上这段旅程,而只有高管才能提供这种程度的支持。组织成竖井的组织常常不能很好地协同工作,虽然数据治理可以在这种情况下提供帮助,但是有时可能需要一些干预来确保事情在预期的时间轴上朝着正确的方向发展。

你的主管是董事会内外的关键资源。在董事会会议室,您需要t champion这样的人,他对MDM实现将为组织带来什么有远见,并随着时间的推移不断前进。离开董事会会议室后,你将面临相互竞争的议程、数据囤积、优先事项的转移,以及试图协同工作的筒仓。这里的执行影响力可以用来确保每个人继续朝着共同的目标努力,并在合理的时间内提供实现gaols所需的资源。

本文 :https://architect.pub/data-architecture-data-governance-proactive-approach
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号

【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
066fff8e3ccbea1164b14acdd3b05239.jpeg
微信小号

【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.

09643c38de4aee27ebad3d496d20d8e2.jpeg

QQ群

【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。

b83fefb256403b341ab125c999a7c44e.jpeg

视频号【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。

2abaf0ed15b0d5cff81cba62d3a61819.jpeg

知识星球【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。

6e1014ac3fc73ab57112ad56dd268d22.jpeg

喜马拉雅【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。【智能时刻,架构君和你聊黑科技】
知识星球认识更多朋友,职场和技术闲聊。知识星球【职场和技术】
领英Harryhttps://www.linkedin.com/in/architect-harry/
领英群组领英架构群组
https://www.linkedin.com/groups/14209750/
微博‍‍【超级架构师】智能时刻‍
哔哩哔哩【超级架构师】

e5a577b3e13270a6bf88c6ad2b40de05.jpeg

抖音【cea_cio】超级架构师

133003ec630668a9dc8403a600a27caf.jpeg

快手【cea_cio_cto】超级架构师

ef4b713221447c57534b2997ae567db2.jpeg

小红书【cea_csa_cto】超级架构师

8dbf828d0d6de3234b6ca77e714e561f.jpeg

网站CIO(首席信息官)https://cio.ceo
网站CIO,CTO和CDOhttps://cioctocdo.com
网站架构师实战分享https://architect.pub   
网站程序员云开发分享https://pgmr.cloud
网站首席架构师社区https://jiagoushi.pro
网站应用开发和开发平台https://apaas.dev
网站开发信息网https://xinxi.dev
网站超级架构师https://jiagou.dev
网站企业技术培训https://peixun.dev
网站程序员宝典https://pgmr.pub    
网站开发者闲谈https://blog.developer.chat
网站CPO宝典https://cpo.work
网站首席安全官https://cso.pub    ‍
网站CIO酷https://cio.cool
网站CDO信息https://cdo.fyi
网站CXO信息https://cxo.pub

谢谢大家关注,转发,点赞和点在看。

相关文章:

「数据架构」MDM实现失败的主要原因

我经常参与一个组织的MDM程序,当他们在一个失败的项目之后向InfoTrellis请求帮助进行清理,或者开始尝试X,以实现对某些人来说非常困难的目标时。主数据管理实现失败的原因有很多,但是没有一个是由于在这些场景中使用的责备游戏的原…...

【Java基础 1】Java 环境搭建

🍊 欢迎加入社区,寒冬更应该抱团学习:Java社区 📆 最近更新:2023年4月22日 文章目录 1 java发展史及特点1.1 发展史1.2 Java 特点1.2.1 可以做什么?1.2.2 特性 2 Java 跨平台原理2.1 两种核心机制2.2 JVM…...

2023-4-26-C++11新特性之正则表达式

🍿*★,*:.☆( ̄▽ ̄)/$:*.★* 🍿 💥💥💥欢迎来到🤞汤姆🤞的csdn博文💥💥💥 💟💟喜欢的朋友可以关注一下&#xf…...

python接口自动化测试 requests库的基础使用

目录 简单介绍 Get请求 Post请求 其他类型请求 自定义headers和cookies SSL 证书验证 响应内容 获取header 获取cookies 简单介绍 requests库简单易用的HTTP库 Get请求 格式: requests.get(url) 注意:若需要传请求参数,可直接在 …...

Photon AI Translator 和做产品的一些思考

近 4 个月内我一直在做 Apple 平台的产品,虽然从使用量来说「简体中文」用户是占多数,但我一直有做多语言的支持:英语、简体中文和繁体中文。习惯上 Google 翻译的我,基本上在使用 Xcode 过程中也会一直在浏览器开着 Google Trans…...

IPTV系统架构的分析与研究

1 引言   IPTV业务是伴随着宽带互联网的飞速发展而兴起的一项新兴的互联网增值业务,它利用宽带互联网的基础设施,以家用电视机和电脑作为主要终端 ,利用网络机顶盒(STB,Set -TopBox) ,通过互联网协议来传送电视信号.提供包括 电视节 目在 内…...

workerman开发者必须知道的几个问题

1、windows环境限制 windows系统下workerman单个进程仅支持200个连接。 windows系统下无法使用count参数设置多进程。 windows系统下无法使用status、stop、reload、restart等命令。 windows系统下无法守护进程,cmd窗口关掉后服务即停止。 windows系统下无法在一个…...

golang Gin实现websocket

golang使用 Gin实现 websocket,这里笔者重新搭建一个项目 1、创建项目安装依赖 项目名为 go-gin-websocket 在指定文件夹下,新建项目文件夹 go-gin-websocket 进入项目文件夹,打开cmd窗口,在项目(go-gin-websocket&a…...

冯·诺依曼体系结构与初始操作系统

目录 冯诺依曼体系结构 冯诺依曼体系结构图 内存 外存 网卡和磁盘 结构之间运算速度的差异 缓冲区 初始操作系统 概念 操作系统上边与下边分别有什么 从上到下依次顺序解析 用户 用户操作接口 系统调用接口 操作系统四项管理 驱动 硬件 冯诺依曼体系结构 冯诺…...

软件测试之黑盒测试的具体方法详解

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一.基于需求的设计方法二.等价类三.边界值四.判定表4.1 **关系**4.2 如何设计测试用例4.3 实际案例第一步第二步第三步第四步 五.正交排列5.1 什么是正交表5.2 …...

图形编辑器:历史记录设计

大家好,我是前端西瓜哥。今天讲一下图形编辑器如何实现历史记录,做到撤销重做。 其实就是版本号的更替。每个版本保存一个状态。 数据结构 要记录图形编辑器的历史记录,支持撤销重做功能,需要两个栈:撤销&#xff0…...

ubuntu22.04下挂载第二块硬盘

文章目录 一、查看硬盘情况二、找到nvme1n1三、挂载四、修改分区文件 一、查看硬盘情况 首先要查看一下系统识别出来的设备。也就是说,我希望知道,ubuntu到底发现了几块硬盘。用命令:lsblk 显示结果如下: 有两块硬盘&#xff1a…...

举例说明.net中in与out的作用与区别

-----作用 在 .NET 中,in 和 out 是用于泛型类型参数的修饰符,它们用于指定参数类型的协变性和逆变性。 - in 修饰符:表示这个泛型类型参数是协变的。也就是说,in 类型参数可以从较特殊的类型隐式转换为较通用的类型。例如&…...

Java常见的100道面试题(内附答案及代码示例)持续更新

什么是Java程序? Java程序是一组可执行的代码,由Java编译器编译生成,可以在Java虚拟机(JVM)上运行。 public class HelloWorld {public static void main(String[] args) {System.out.println("Hello, World!&qu…...

策略设计模式知多少

目录 目标 概述 实现 目标 熟悉策略设计模式,了解策略设计模式的使用场景、具体实现。 概述 一、行为设计模式 行为设计模式是设计模式的一种类型。该类型的设计模式关注的重点在于对象的行为(通信和交互),而非对象的创建方…...

第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Linux 和 macOS 系统上为非根实例启动 ISCAgent

文章目录 第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Linux 和 macOS 系统上为非根实例启动 ISCAgent在 UNIX/Linux 和 macOS 系统上为非根实例启动 ISCAgent在 Microsoft Windows 系统上启动 ISCAgent 自定义 ISCAgent 第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Li…...

嵌入式安卓开发:使用Camera2获取相机

文章目录 Camera2介绍Camera2的主要API类介绍CameraManager通过CameraManage获取Cameracharacteristics通过CameraManage获取CameraDevice从CameraDevice获取CameraCaptureSession预览效果 参考 Camera2介绍 从Android 5.0开始,Google 引入了一套全新的相机框架 Ca…...

阿里云g8i服务器Intel Xeon(Sapphire Rapids) Platinum 8475B

阿里云服务器ECS通用型实例规格族g8i采用2.7 GHz主频的Intel Xeon(Sapphire Rapids) Platinum 8475B处理器,3.2 GHz睿频,g8i实例采用阿里云全新CIPU架构,可提供稳定的算力输出、更强劲的I/O引擎以及芯片级的安全加固。阿里云百科分享阿里云服…...

设计模式——组件协作模式之观察者模式

文章目录 前言一、“组件协作” 模式二、Observer 观察者模式1、动机2、模式定义3、伪代码示例①、第一种方案,最朴素的方式②、第二种方案,重构使得遵循DIP原则:③、进一步的小优化:④、修改使得支持多个观察者: 4、结…...

观察者设计模式知多少

目录 目标 概述 实现 推设计模式 拉设计模式 被动观察者设计模式 目标 熟悉观察者设计模式,了解观察者设计模式的使用场景、具体实现(包括:推设计模式、拉设计模式、被动观察者设计模式)。 概述 一、行为设计模式 行为设…...

7.4.分块查找

一.分块查找的算法思想: 1.实例: 以上述图片的顺序表为例, 该顺序表的数据元素从整体来看是乱序的,但如果把这些数据元素分成一块一块的小区间, 第一个区间[0,1]索引上的数据元素都是小于等于10的, 第二…...

DeepSeek 赋能智慧能源:微电网优化调度的智能革新路径

目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...

Xshell远程连接Kali(默认 | 私钥)Note版

前言:xshell远程连接,私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...

UE5 学习系列(三)创建和移动物体

这篇博客是该系列的第三篇,是在之前两篇博客的基础上展开,主要介绍如何在操作界面中创建和拖动物体,这篇博客跟随的视频链接如下: B 站视频:s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

【解密LSTM、GRU如何解决传统RNN梯度消失问题】

解密LSTM与GRU:如何让RNN变得更聪明? 在深度学习的世界里,循环神经网络(RNN)以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而,传统RNN存在的一个严重问题——梯度消失&#…...

【机器视觉】单目测距——运动结构恢复

ps:图是随便找的,为了凑个封面 前言 在前面对光流法进行进一步改进,希望将2D光流推广至3D场景流时,发现2D转3D过程中存在尺度歧义问题,需要补全摄像头拍摄图像中缺失的深度信息,否则解空间不收敛&#xf…...

屋顶变身“发电站” ,中天合创屋面分布式光伏发电项目顺利并网!

5月28日,中天合创屋面分布式光伏发电项目顺利并网发电,该项目位于内蒙古自治区鄂尔多斯市乌审旗,项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站,总装机容量为9.96MWp。 项目投运后,每年可节约标煤3670…...

sqlserver 根据指定字符 解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

Matlab | matlab常用命令总结

常用命令 一、 基础操作与环境二、 矩阵与数组操作(核心)三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结,涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...

3-11单元格区域边界定位(End属性)学习笔记

返回一个Range 对象&#xff0c;只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意&#xff1a;它移动的位置必须是相连的有内容的单元格…...