当前位置: 首页 > news >正文

我的笔记:数据体系规则

1、中台数据体系特征

覆盖全域数据:数据集中建设,覆盖所有业务过程数据;
结构层次清晰:纵向数据分层,横向主题域,业务过程划分,让整个层析结构清晰易理解;
数据准确一致:定义一致性指标,统一命名,统一业务含义,统一计算口径,并有专业数据团队进行建模,保证数据的一致性;
性能提升:统一的规划设计,选用合适的数据模型,清晰的定义并统一规范,考虑应用场景,整体性能更好;
降低成本:数据被业务共享,避免大量烟囱式的重复建设,节约计算、存储、人力成本
方便易用:易用的总体原则越往后越能方便地直接使用数据,把一些复杂的处理尽可能前置,必要时做适当的冗余操作;
2、四个数据分层

贴源数据层ODS(Operational Data Store ,操作数据层):对各业务数据进行采集、汇聚,与业务系统基本保持一致,仅做简单整合、非结构化数据处理为结构化或增加标识数据日期描述信息,不做深度清洗加工;
统一数仓层DW(Data Warehouse):分为明细数据层(dwd)和汇总数据层(dws),业务系统是按照业务流程方便操作的方式来组织数据,而统一数仓从业务易理解的视角来重新组织,定义一定的指标、维度,各业务板块、业务域按照统一规范独立建设,从而形成统一规范的标准业务数据体系;
标签数据层TDM(Tag Data Model):面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通、形成对象的全域标签体系,方便深度分析、挖掘、应用;
应用数据层ADS(Application Data Stroe):按照业务需求从统一数仓层、标签数据层抽取数据,并面向业务的特殊需要加工业务特定数据,以满足业务及性能需求,向特定应用组装应用数据;
3、数据读取规则:数据读取有严格的规范要求

贴源层数据直接从业务系统或者日志系统获取数据;
贴源层数据只能被统一仓库层使用;
统一仓库层只能被标签层和应用层使用;
所有业务使用的数据均来源于标签层和应用层;
————————————————

原文链接:https://blog.csdn.net/baidu_38792549/article/details/109745028

相关文章:

我的笔记:数据体系规则

1、中台数据体系特征 覆盖全域数据:数据集中建设,覆盖所有业务过程数据; 结构层次清晰:纵向数据分层,横向主题域,业务过程划分,让整个层析结构清晰易理解; 数据准确一致&#xff1a…...

苍穹外卖 day2 反向代理和负载均衡

一 前端发送的请求,是如何请求到后端服务 前端请求地址:http://localhost/api/employee/login 路径并不匹配 后端接口地址:http://localhost:8080/admin/employee/login 二 查找前端接口 在这个页面上点击f12 后转到networ验证&#xff0…...

【SpringBoot】SpringBoot完整实现电子商务系统

一个完整的电子商务系统需要涉及到前台展示、后台管理、商品管理、订单管理、用户管理等各方面。这里提供一个简单的实现示例&#xff0c;供参考。 前端代码 前端使用Vue框架&#xff0c;以下是部分代码示例&#xff1a; 商品列表页&#xff1a; <template><div>…...

RT-Thread 线程管理(学习二)

线程相关操作 线程相关的操作包括&#xff1a;创建/初始化、启动、运行、删除/脱离。 动态线程与静态线程的区别&#xff1a;动态线程是系统自动从动态内存堆上分配栈空间与线程句柄&#xff08;初始化heap之后才能使用create创建动态线程&#xff09;&#xff0c;静态线程是…...

ESP32应用教程(1)— VL53L3CX距离传感器

文章目录 前言 1 产品概述 1.1 技术规格 1.2 系统框图 1.3 设备引脚分布 2 工作流程 2.1 系统功能描述 2.2 状态机描述 2.3 测距模式说明 3 控制接口 3.1 设备地址 3.2 IC写1个字节数据 3.3 IC读1个字节数据 3.4 IC写多个字节数据 3.5 IC读多个字节数据 3.6 IC…...

Redis从基础到进阶篇(一)

目录 一、了解NoSql 1.1 什么是Nosql 1.2 为什么要使用NoSql 1.3 NoSql数据库的优势 1.4 常见的NoSql产品 1.5 各产品的区别 二、Redis介绍 2.1什么是Redis 2.2 Redis优势 2.3 Redis应用场景 2.4 Redis下载 三、Linux下安装Redis 3.1 环境准备 3.2 Redis的…...

postgresql的基本使用

添加字段 ALTER TABLE AAF_SYS_PARAM ADD REFER_ID VARCHAR(64); ALTER TABLE AAF_SYS_PARAM ADD OPTION_JSON VARCHAR(3000);COMMENT ON COLUMN AAF_SYS_PARAM.REFER_ID IS 关联节点ID; COMMENT ON COLUMN AAF_SYS_PARAM.OPTION_JSON IS 选择项枚举json; 修改字段 ALTER T…...

ABC 258 G Triangle(bitset 优化)

ABC 258 G Triangle(bitset 优化) ABC 258 G Triangle 大意&#xff1a;给出一个邻接矩阵 &#xff0c;用来记录两两元素间是否连接 &#xff0c; 计算其中三元环的数目。 思路&#xff1a; 不妨先想暴力解法 for(int i 1 ; i < n ; i ){for(int j i 1 ; j < n ;…...

使用StreamLold写入 Starrocks报错:Caused by org

问题描述 使用StreamLoad写入Starrocks报错&#xff0c;报这个错误:Caused by: org.apache.http.ProtocolException: Content-Length header already present 代码案例 引入依赖 <!-- Starrocks使用StreamLoad发送Http请求 --><dependency><groupId>or…...

WX1860- ngbe-1.2.5 xdp程序在路由模式下,使用iperf工具测试数据包不转发,用jmeter可以

本地验证时重定向iperf包有出现calltrace错误&#xff0c;经推断&#xff0c;系统PAGE_SIZE<8k时可能出现&#xff08;getconf PAGE_SIZE指令可查看&#xff09;&#xff0c;按下图将ngbe_main.c的2350行ngbe_rx_bufsz改为ngbe_rx_pg_size可修复。其次&#xff0c;需要将加载…...

PHPStudy 安装tp8 php8.2.9 安装XDbug、redis扩展

一、PhpStudy升级PHP版本&#xff0c;安装PHP8.2操作步骤 1.1、官网下载最新的php版本 打开Windows版的官网下载&#xff0c;地址&#xff1a;https://windows.php.net/download/ 页面上有不同的PHP版本&#xff0c;这里我们下载的是64位nts版的PHP8.2.9。 1.2、解压下载的文…...

结构体指针和结构体数组指针

结构体指针和结构体数组指针是不同的类型。 结构体指针定义&#xff1a;Student *stu 结构体指针的步长是一个结构体的大小&#xff1b; 结构体数组指针定义&#xff1a;Student (*stu)[] 结构体数组指针的步长是整个结构体数组的大小。 例程&#xff1a; #include <stdio…...

libdrm全解析二十 —— 源码全解析(17)

接前一篇文章&#xff1a;libdrm全解析十九 —— 源码全解析&#xff08;16&#xff09; 本文参考以下博文&#xff1a; DRM 驱动程序开发&#xff08;VKMS&#xff09; 特此致谢&#xff01; 本文继续对include/drm/drm.h中实际功能宏定义进行讲解。 29. DRM_IOCTL_SET_MAS…...

基于docker搭建owncloud Harbor 构建镜像

环境介绍&#xff1a;ContenOS7.9 docker17.12.1-ce 使用mysql:5.7和 owncloud 镜像&#xff0c;构建一个个人网盘。 docker pull owncloud #拉取镜像 docker pull mysql5.7 创建容器 docker run --name owncloud-mysql -p 3306:3306 -e MYSQL\_ROOT\_PASSWORDroot …...

往Buildroot中增加Qt项目

前言 目的&#xff1a;应用开发时最初是没有和buildroot中一起编译时&#xff0c;后面应用程序写的差不多时&#xff0c;同事问我怎么把应用程序打包到文件系统中&#xff0c;然后发布时跟随文件系统一起发布&#xff0c;并且增加打包启动脚本。所以本文在已经可以单独编译的基…...

C#-Tolewer和ToUpper的使用

目录 简介: 好处:​ 过程: 总结&#xff1a; 简介: 字符串是不可变的&#xff0c;所以这些函数都不会直接改变字符串的内容&#xff0c;而是把修改后的字符串的值通过函数返回值的形式返回。 ToLower和ToUpper是字符串处理函数&#xff0c;用于将字符中的英文字母转换为小…...

RabbitMQ集群搭建和测试总结_亲测

RabbiMQ简介 RabbitMQ是用Erlang开发的&#xff0c;集群非常方便&#xff0c;因为Erlang天生就是一门分布式语言&#xff0c;但其本身并不支持负载均衡。 RabbitMQ模式 RabbitMQ模式大概分为以下三种: (1)单一模式。 (2)普通模式(默认的集群模式)。 (3)镜像模式(把需要的队列…...

SQLSTATE[IMSSP]: The active result for the query contains no fields.

我的是SQL server 报错场景&#xff0c;代码&#xff1a; $psendmx_sql"SET IDENTITY_INSERT PSENDMX ON;INSERT INTO psendmx (DJBH,MIBH,MXBH,SPDM,GG1DM,GG2DM,SL,SL_2,CKJ,ZK,DJ,DJ_1,JE,HH) VALUES {$mx_values};SET IDENTITY_INSERT PSENDMX OFF;"; $a$db_er…...

在Flutter应用内部实现分屏功能

前言 这一次被要求实现屏幕上同时展示两个页面&#xff0c;并且两个页面的逻辑&#xff0c;功能互不影响&#xff0c;通俗一点讲就是在Flutter内部实现一个类似于分屏的功能&#xff0c;这可难不倒我。 方法 要在 Flutter 中实现一个屏幕的上半部分和下半部分展示不同的页面…...

Docker常用操作命令(二)

Docker常用操作命令(二) 11、进入容器 docker exec -it 容器名称or容器ID /bin/bash [rootzch01 ~]# docker exec -it 973ff3caff19 /bin/bash 退出容器 root973ff3caff19:/# exit 12、查看容器中的进程 docker top 容器名称or容器ID [rootzch01 ~]# docker top 973ff3c…...

TPU核心引擎的‘血管网络’:用Python建模与可视化理解脉动阵列数据流

TPU核心引擎的‘血管网络’&#xff1a;用Python建模与可视化理解脉动阵列数据流 在AI加速器的世界里&#xff0c;TPU&#xff08;张量处理单元&#xff09;的脉动阵列就像一台精密的机械钟表&#xff0c;每个齿轮的咬合都遵循着严格的时序规律。但与硬件工程师通过RTL语言&qu…...

极为罕见!35米宽小行星近距离掠过地球

【环球时报特约记者 陈山】据美国全国广播公司&#xff08;NBC&#xff09;网站19日报道&#xff0c;一颗直径约50到115英尺&#xff08;1英尺约合0.3米&#xff09;的小行星于18日近距离飞掠地球&#xff0c;成为近年来非常罕见的一幕。小行星从地球附近掠过的概念图。欧洲航天…...

STM32按键状态机:从消抖到复杂事件处理的嵌入式编程范式

1. 项目概述&#xff1a;从“按键抖动”到“状态机思维”的跨越在嵌入式开发&#xff0c;尤其是基于STM32这类MCU的项目中&#xff0c;按键处理是几乎每个项目都绕不开的基础功能。很多新手朋友在拿到开发板&#xff0c;点亮第一个LED后&#xff0c;下一步往往就是尝试用按键来…...

TPS5450同步降压转换器设计:从宽压输入到5V/3.3V输出的工程实践

1. 项目概述与芯片选型考量最近在做一个需要从较高直流电压&#xff08;比如12V或24V&#xff09;降压到5V和3.3V为系统供电的项目&#xff0c;电流需求还不小&#xff0c;峰值可能达到3A以上。这种场景下&#xff0c;传统的线性稳压器&#xff08;LDO&#xff09;效率太低&…...

探索罗技鼠标宏:掌握PUBG压枪技术的完整路径

探索罗技鼠标宏&#xff1a;掌握PUBG压枪技术的完整路径 【免费下载链接】logitech-pubg PUBG no recoil script for Logitech gaming mouse / 绝地求生 罗技 鼠标宏 项目地址: https://gitcode.com/gh_mirrors/lo/logitech-pubg 在《绝地求生》这款竞技性极强的射击游戏…...

如何用ComfyUI-Impact-Pack实现AI图像精细化处理:从面部修复到高分辨率增强的完整指南

如何用ComfyUI-Impact-Pack实现AI图像精细化处理&#xff1a;从面部修复到高分辨率增强的完整指南 【免费下载链接】ComfyUI-Impact-Pack Custom nodes pack for ComfyUI This custom node helps to conveniently enhance images through Detector, Detailer, Upscaler, Pipe, …...

告别CentOS!Debian 11 + VMware 保姆级教程:搞定那些只支持国产系统的Linux客户端(以aTrust为例)

Debian 11 VMware 全栈解决方案&#xff1a;无缝运行国产Linux客户端软件 在开源世界的版图中&#xff0c;CentOS曾经是企业级Linux的代名词&#xff0c;但随着Red Hat战略调整和CentOS Stream的转型&#xff0c;许多传统解决方案正在面临前所未有的兼容性挑战。特别是在需要对…...

别再只怪外力了!手把手教你用砂纸“解剖”MLCC,排查电容失效真凶(附打磨实操图)

低成本破解MLCC失效之谜&#xff1a;砂纸打磨法的实战指南 当产线上突然出现大批量MLCC失效时&#xff0c;硬件工程师们常常陷入两难——既没有价值百万的金相显微镜&#xff0c;也无法承受将样品送往专业实验室的高昂成本和时间延误。这时&#xff0c;一套简单粗暴却行之有效的…...

掌握Simscape Electrical电机控制器设计:减少硬件测试成本60%的专业解决方案

掌握Simscape Electrical电机控制器设计&#xff1a;减少硬件测试成本60%的专业解决方案 【免费下载链接】Design-motor-controllers-with-Simscape-Electrical This repository contains MATLAB and Simulink files used in the "How to design motor controllers using …...

51单片机定时器生成PWM波控制电机转速,从原理到代码调试全流程(基于STC89C52)

51单片机定时器生成PWM波控制电机转速&#xff1a;从寄存器配置到闭环调速实战 在嵌入式控制领域&#xff0c;PWM&#xff08;脉冲宽度调制&#xff09;技术如同精准的"电子油门"&#xff0c;通过调节脉冲占空比实现对电机转速的精细控制。STC89C52RC这颗经典的51内核…...