打破总分行数据协作壁垒,DataOps在头部股份制银行的实践|案例研究
从银行开始建设数据仓库至今已近20年,当前各银行机构在数据能力建设中面临诸多困扰:如何保证数据使用时的准确性?如何让数据敏捷响应业务变化?如何让更多的业务人员使用数据?
这些问题极大影响了经营指标的达成与业务的敏捷迭代。银行急需实践DataOps以增强数据能力建设,逐步实现数据驱动业务发展的目标。
当前各银行机构主要面临数据问题如下:
数据需求沟通不畅。业务人员与IT人员很容易陷入“提需求、提数、未达预期、再提需求、再提数…”循环中,而究其原因,主要是业务人员“懂业务不懂数据”,IT人员“懂数据不懂业务”,双方难以互相理解,且信息传递环节越多,信息扭曲风险越大。
数据服务效率低。经过多年的信息化系统建设,一家银行企业往往拥有数百个应用系统、多套数据平台。面对不同来源、格式各异的数据整合时,如何为各种应用提供敏捷一致的数据服务变得具有挑战性,如数据口径难以统一,海量数据查询难以高质高效,统一存储和管理需要大量时间精力等。据统计,银行企业数据开发需求平均相应周期为1.5至2周。
业务人员用数门槛高。一方面,缺乏有效的数据使用工具,导致即使有零碎的工作也需要排期处理。另一方面,当报表逻辑出错时,业务人员不清楚加工链路,无法自主查数溯源。
DataOps 是面向数据全生命周期的数据开发运营一体化理念,通过对数据相关流程制度、工具的重新组织,构建集治理、开发、运营于一体的自动化数据流水线。
DataOps通过优化数据取用链路,破除数据供需壁垒。通过开发过程透视图等工具,使用人员能够清晰的知道数据从哪里来的,是怎么被加工和处理的,确保业务人员能够随时验证数据可用性,及时与技术人员沟通需求。
DataOps通过规范数据标准,规范取用流程,提升数据敏捷响应。DataOps拥有“先设计,后开发,先标准,后建模”的数据开发运营模式,从源头控制数据质量,保证数据准确性。同时,通过搭建全域数据地图、统一开发规范指引、预设数据管理流程如申请数据或发布测试的流程节点步骤等方式,技术人员能够实现便捷找数,快速取数,提升数据敏捷响应。
DataOps通过多样化数据服务方式,满足不同技术水平的业务人员用数需求。通过搭建业务人员自助用数、查数溯源工具,可大幅提升业务人员数据使用效率,降低业务用数的门槛,促进企业内具备数据分析能力的业务人员比率逐年提升。
DataOps:打破总行与分行数据壁垒,为万人月活的大数据平台构建敏捷服务
某头部股份制银行,在全国拥有超过140家分行。该行自2018年开始建设数据中台,将“通过数据驱动经营决策”作为发展策略。发展至今,大数据服务覆盖业务人员比率,从2022年的50%,增长到2023年的60%。使用大数据平台的IT人员,月活数超万人。
随着数据量爆发式增长,数据服务覆盖人员增多,该行在总行与分行之间的数据流程,业务人员与IT人员之间的数据流程两方面,面临以下挑战。
01 总行与分行之间的流程问题:各分行数据自治,总行数据准确性面临挑战
现状:该行数据管理体系中,各个分行都拥有独立的数据仓库,以及独立的数据团队负责数据开发与分析工作,所有数据会都在T+1时段与总行同步。
问题:各分行的数据自治,使得总行需要与分行进行数据同步,但同步后数据准确性面临挑战。由于分行间的信息化水平和所选择的供应商存在较大差异,各个分行在开发平台的选择和开发规范上都存在显著的差异。数据同步至总行后,由于数据标准差异,导致数据难以统一管理,总行需要二次数据治理,以确保数据有效性和准确性。
02 业务与IT的流程问题:传统数据开发模式面临数据准确性、敏捷响应、用数效率等挑战
现状:在传统的数据开发模式中,业务人员提出数据需求,IT人员分析需求,并将需求转化为实际的数据查询和提取任务。
问题:
数据准确性:业务人员与IT人员无法找到共同语言,需求分析不准确,数据口径难以对齐。在最初业务人员与IT人员的沟通中,由于IT人员缺乏业务理解能力,业务人员缺乏技术知识,出现了数据需求在供需两端沟通不畅的问题。导致取数准确性无法保证。
敏捷响应:“数据烟囱模式”明显,IT人员查找相应数据面临找数难,取数慢两个问题。一方面,烟囱式建设使各业务系统间数据关联出现了各种各样的问题,使得IT人员在查找数据时面临找到难,理解难等问题。同时,在不同的部门系统中进行检索时,每个系统的数据结构和访问权限都可能不同,跨行使用数据使用时,申请审批流程会造成取数慢的问题。最终导致数据开发受阻,整个流程效率较低。
用数效率:业务人员取数门槛高,无法自助式取数。即使零碎的数据取用需求,也需要找IT人员排产,业务人员需要等待很长时间才能获得所需的数据。
基于上述痛点,该银行利用DataOps理念,通过对数据相关流程制度、工具的重新组织,打破协作壁垒,构建集治理、开发、运营于一体的自动化数据流水线。
03 总行与分行之间的流程问题:统一数据开发流程规范、统一数据云平台,保证数据准确性
流程制度:该银行制定了统一的数据规范(基础标准、指标标准、模型标准等)以及数据开发流程,并通过将数据质量管控环节前置,以及在开发过程中持续对数据质量进行校验的方式,保证数据准确性。
首先,改变原来“先开发,后治理”的模式,形成“先设计,后开发,先标准,后建模”的新模式。在设计阶段就由业务人员与IT人员共同将数据规范,安全标准等确定下来。即使分行将工作进行外包,也需要按照该流程规范执行,从而大幅度提升数据准确性。其次,在开发过程中嵌入治理活动,通过自动化运维和数据全链路监控等流程,构建数据全链路可观测能力,实现数据质量端到端的运维监控,最终保证数据准确性。
工具:为保证数据质量,总行搭建了一个供分行使用的分行云数据平台,将分行全部数据开发工作转移至统一平台进行,使总行能够统一管理。在云平台未完整建成前,将各分行的非核心数据开发工作统一在该平台上进行,传统的核心数据报表仍然在原有系统中执行。最后达成所有核心,非核心数据开发工作统一全部在该数据平台完成的目标。
04 业务与IT的流程问题:搭建端到端数据管道,保证数据准确性,提高敏捷响应与用数效率
数据准确性:搭建协同平台,提供开发过程透视图,保证需求分析准确性
工具:该行在云平台上提供了涉及所有相关业务人员和数据人员的协同平台,保证数据取用各团队的无障碍沟通,促进团队之间的高效协作。同时,通过搭建开发过程中的透视图,让业务部门能够在开发过程中看到结果,随时完成数据需求的沟通对齐。
敏捷响应:预设数据管理流程,统一数据湖并集成银行内部工具,保证数据迅速取用
流程制度:为解决“取数慢”的问题,该行在统一云平台上预设了明确的数据流程管理规范。通过标准化申请数据或发布测试的流程,方便不同团队之间数据申请的审批,加快数据的查找与取用流程。为了进一步解决“取数慢”的问题,该银行在云平台上集成了工作流,即时通讯等银行内部工具,形成工具间的串联,提升数据取用的审批响应速度。当IT人员需要用其他分行数据时候,可以直接在该平台通过内部工具一站式提起需求申请。
工具:为解决“找数难”的问题,首先,总行使用了统一的数据湖,将分行数据全部汇总在数据湖中,实现数据的集中、标准化和高效管理。同时,该银行重新构建了元数据管理体系,搭建了数据地图。以“能找到,看明白,放心用”为目标,为使用者提供找数看数的门户。使其能够自助找到数据,查询数据详情,确保数据服务的可靠性,提升数据查找的效率。
用数效率:提供自助报表分析工具,赋能业务人员解决零散问题能力。
工具:为了解决业务人员零散的数据问题,减轻IT人员工作负担。该行还在平台上提供自助报表数据分析工具,供业务人员解决简单的数据分析工作。
05 以提高数据质量为“抓手”,逐步落地DataOps治理体系
在项目落地过程中,由于DataOps涉及的范围相对较广,不仅包括了数据的治理、开发、运营等关键环节,还囊括了相应的管理流程体系。所以在实施过程中,选择正确的入手点则显得尤为重要。
06 由于银行对于数据安全与合规要求较高,在项目落地阶段主要会面临以下三个挑战:
数据迁移中保证数据安全:在前期TD数据仓迁移阶段,由于银行数据保密要求较高,该银行选择先将非核心数据迁移至总行数据湖,并将该部分数据治理与开发工作迁移在分行云上完成,核心数据报表仍然保留在分行TD数据仓完成。随着分行云功能的完善,各分行开始迁移核心数据,逐渐在分行云上完成所有数据治理与开发工作。
数据使用脱敏:该行拥有两个网络系统,办公网与生产网物理隔开。为保证数据安全使用,该行在两个网络下各部署了一套分行云系统。办公网设置为开发态,主要做数据加工,工作流编排,数据探索等工作(一个集群一个态),脱敏后导出任务包放入生产网。生产网分为测试态和生产态(一个集群两个态)。数据在生产网继续进行测试等工作。同时,在测试态制作类似数据沙箱的机制,即测试态可以读取生产态的数据,但写入时将写入测试态的库里面,避免数据污染。
内部工具集成要求高:银行行业特征决定了其监管需求较重,需要在考虑生产稳定,开发质量有保证的情况下,提高敏捷度。所以对于内部已有资源的打通,串联要求较高。
至今,经过一系列DataOps改革,该银行数据云平台已经成功推广到一半以上的分行进行使用,分行对IT人员中的数据治理人员需求有了明显下降。平台上拥有上千个数据项目,每天达到近十万次作业数。数据开发周期从原来的一到两周缩短至一到两天。未来,该银行将围绕多元化的数据服务,进行数据探索能力的建设。
相关文章:

打破总分行数据协作壁垒,DataOps在头部股份制银行的实践|案例研究
从银行开始建设数据仓库至今已近20年,当前各银行机构在数据能力建设中面临诸多困扰:如何保证数据使用时的准确性?如何让数据敏捷响应业务变化?如何让更多的业务人员使用数据? 这些问题极大影响了经营指标的达成与业务…...

测试用例的设计方法(全):边界值分析方法
一.方法简介 1.定义:边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法。通常边界值分析法是作为对等价类划分法的补充,这种情况下,其测试用例来自等价类的边界。 2.与等价划分的区别 1)边界值分析不是从某等价类中随便挑…...

酷开科技 | 酷开系统沉浸式大屏游戏更解压!
随着家庭娱乐需求日益旺盛,越来越多的家庭消费者和游戏玩家开始追求大屏游戏带来的沉浸感。玩家在玩游戏的时候用大屏能获得更广阔的视野和更出色的视觉包围感,因此用大屏玩游戏已经成为了一种潮流。用酷开系统玩大屏游戏,过瘾又刺激…...

读高性能MySQL(第4版)笔记20_Performance Schema和其他
1. 线程 1.1. MySQL服务端是多线程软件。它的每个组件都使用线程 1.2. 每个线程至少有两个唯一标识符 1.2.1. 操作系统线程ID 1.2.2. MySQL内部线程ID 2. 对象类型 2.1. OBJECT_TYPE列 2.2. EVENT 2.3. FUNCTION 2.4. PROCEDURE 2.5. TABLE 2.6. TRIGGER 3. Perfor…...
spring cloud Eureka集群模式搭建(IDEA中运行)《二》
上一篇集群配置文件完善 上一篇博客,想必大家都学会了Eureka集群模式的搭建和运行,针对上一篇的配置文件进行了优化,在这里分享给大家。上一篇主要有3个配置文件,分别对应3个不同的服务,这种形式配置文件分别写在了不…...

大模型(LLM)在电商推荐系统的探索与实践
本文对LLM推荐的结合范式进行了梳理和讨论,并尝试将LLM涌现的能力迁移应用在推荐系统之中,利用LLM的通用知识来辅助推荐,改善推荐效果和用户体验。 背景 电商推荐系统(Recommend System,RecSys)是一种基于…...

C语言之指针详解
目录 地址 指针的定义和使用 数组与指针的区别与联系 字符串与指针的用法 C 中的 NULL 指针 指针的算术运算 指向指针的指针 传递指针给函数 从函数返回指针 在学习指针之前,我们先弄清楚一个概念: 地址 地址在计算机内存中是一个唯一的标识符…...

【Java笔记+踩坑】设计模式——原型模式
导航: 【Java笔记踩坑汇总】Java基础JavaWebSSMSpringBootSpringCloud瑞吉外卖/黑马旅游/谷粒商城/学成在线设计模式面试题汇总性能调优/架构设计源码-CSDN博客 目录 零、经典的克隆羊问题(复制10只属性相同的羊) 一、传统方案࿱…...
Flutter GetX使用详解
介绍 GetX是一款功能强大且轻量级的Flutter状态管理和路由管理库。它提供了一种简单而强大的方式来构建Flutter应用程序,无需大量的模板代码。GetX不仅提供了状态管理和路由管理,还包括其他实用工具,如国际化和依赖注入。 在本文中…...

【ARM Coresight 系列文章 3.3 - ARM Coresight SWD 协议详细介绍】
文章目录 1.1 SWD 协议框图1.2 读/写时序及命令1.2.1 SWD 时序1.2.2 SWD 命令详情1.3 芯片探测1.3.1 获取芯片 ID1.4 读/写操作1.1 SWD 协议框图 SWD协议可以配置SoC内部几乎所有的寄存器。时钟信号由SWCLK 管脚输入,数据信号从SWDIO管脚输入输出。首先 HOST 对SW-DP 进行操作…...
作为开发者,可视化开发工具了解一下
你是否为编程世界的各种挑战感到头痛?想要以更高效、简单的方式开发出专业级的项目? JNPF低代码工具正是你苦心寻找的产品!它是一款专为稍微懂一点点编程思想的入门级人员设计的神奇工具,集成了丰富的功能和组件,让你轻…...

Python:实现日历功能
背景 日常生活中,每天都要用到日历,日历成为我们生活中的必需品,那么如何制作日历呢,其实方法有很多,可以直接在excel中制作,也可以手画等等。 学习过编程的朋友,能否想到用Python编写一…...

2.9.C++项目:网络版五子棋对战之业务处理模块的设计
文章目录 一、意义二、功能三、管理(一)客户端请求(二)websocket 四、框架五、完整代码 一、意义 将所有的模块整合在一起,通过网络通信获取到客户端的请求,提供不同的业务处理。 服务器模块,是…...

springboot actuator 常用接口
概述 微服务作为一项在云中部署应用和服务的新技术是当下比较热门话题,而微服务的特点决定了功能模块的部署是分布式的,运行在不同的机器上相互通过服务调用进行交互,业务流会经过多个微服务的处理和传递,在这种框架下࿰…...

知识点滴 - Email地址不区分大小写
电子邮件地址本身对字符大小写不敏感。这意味着实际的电子邮件地址,如 "exampleemail.com",并不区分字母的大小写。无论你输入的是大写字母还是小写字母,它仍然会到达同一个电子邮件账户。例如,如果您的电子邮件地址是 …...

同一个页面同一区域两个el-table在v-if下样式重叠问题
🍉正常情况下在radio切换时两个表格的样式应如下 🍉实际上用v-if显示时会出现以下问题(本该属于时间段相同模块的表格却出现在时间段自定义的表格中) 🍉解决方案: 🍃一、将v-if替换成v-show(…...

ExoPlayer架构详解与源码分析(6)——MediaPeriod
系列文章目录 ExoPlayer架构详解与源码分析(1)——前言 ExoPlayer架构详解与源码分析(2)——Player ExoPlayer架构详解与源码分析(3)——Timeline ExoPlayer架构详解与源码分析(4)—…...
【开题报告】基于Spring Boot的课程在线预约系统的设计与实现
1.引言 随着互联网的发展,线上教育和课程培训变得越来越普遍。然而,很多学生在选择课程时面临一些困扰,例如如何找到适合自己的课程,如何与老师进行预约等。因此,设计一个基于Spring Boot的课程在线预约系统具有重要的…...
React Hooks还有哪些常用的用法?
除了之前提到的 useState、useEffect、useContext、useRef、useMemo 和 useCallback,还有一些其他常用的 React Hooks,它们提供了额外的功能和灵活性。以下是其中一些常见的 React Hooks: 1:useReducer:用于在函数组件中管理复杂的状态逻辑,类似于 Redux 的 reducer。 …...

基于Java的学生学籍管理系统设计与实现(源码+lw+部署文档+讲解等)
文章目录 前言具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序(小蔡coding) 代码参考数据库参考源码获取 前言 💗博主介绍:✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者&am…...
生成xcframework
打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式,可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...

shell脚本--常见案例
1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件: 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...

PPT|230页| 制造集团企业供应链端到端的数字化解决方案:从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节,供应链协同管理在供应链上下游企业之间建立紧密的合作关系,通过信息共享、资源整合、业务协同等方式,实现供应链的全面管理和优化,提高供应链的效率和透明度,降低供应链的成…...
Spring Boot面试题精选汇总
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 Spring Boot面试题精选汇总⚙️ **一、核心概…...

AI,如何重构理解、匹配与决策?
AI 时代,我们如何理解消费? 作者|王彬 封面|Unplash 人们通过信息理解世界。 曾几何时,PC 与移动互联网重塑了人们的购物路径:信息变得唾手可得,商品决策变得高度依赖内容。 但 AI 时代的来…...
go 里面的指针
指针 在 Go 中,指针(pointer)是一个变量的内存地址,就像 C 语言那样: a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10,通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...
xmind转换为markdown
文章目录 解锁思维导图新姿势:将XMind转为结构化Markdown 一、认识Xmind结构二、核心转换流程详解1.解压XMind文件(ZIP处理)2.解析JSON数据结构3:递归转换树形结构4:Markdown层级生成逻辑 三、完整代码 解锁思维导图新…...
Java 与 MySQL 性能优化:MySQL 慢 SQL 诊断与分析方法详解
文章目录 一、开启慢查询日志,定位耗时SQL1.1 查看慢查询日志是否开启1.2 临时开启慢查询日志1.3 永久开启慢查询日志1.4 分析慢查询日志 二、使用EXPLAIN分析SQL执行计划2.1 EXPLAIN的基本使用2.2 EXPLAIN分析案例2.3 根据EXPLAIN结果优化SQL 三、使用SHOW PROFILE…...

相关类相关的可视化图像总结
目录 一、散点图 二、气泡图 三、相关图 四、热力图 五、二维密度图 六、多模态二维密度图 七、雷达图 八、桑基图 九、总结 一、散点图 特点 通过点的位置展示两个连续变量之间的关系,可直观判断线性相关、非线性相关或无相关关系,点的分布密…...

Python环境安装与虚拟环境配置详解
本文档旨在为Python开发者提供一站式的环境安装与虚拟环境配置指南,适用于Windows、macOS和Linux系统。无论你是初学者还是有经验的开发者,都能在此找到适合自己的环境搭建方法和常见问题的解决方案。 快速开始 一分钟快速安装与虚拟环境配置 # macOS/…...