当前位置： 首页 > news >正文

数据仓库（3）-模型建设

news 文章来源：https://blog.csdn.net/xummgg/article/details/135578563 2025/5/19 20:57:07

本文从以下9个内容，介绍数据参考模型建设相关内容。
在这里插入图片描述

1、OLTP VS OLAP

OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle
OLAP：全称OnLine Analytical Processing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
在这里插入图片描述

两者比较结果可见如下
在这里插入图片描述

2、数仓分层

通常我们吧数据分成4层，ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
在这里插入图片描述

3、数仓数据建模

什么是数据模型：数据特征的抽象，通常包括数据结构、数据操作、数据约束。
在这里插入图片描述

4、数据建模方法

数据建模方式很多，数据仓种最常见的是两种，维度建模和三范式建模（也叫实体关系建模）。以下详细介绍
在这里插入图片描述

5、数据建模流程

模型设计基本原则

在这里插入图片描述

维度建模设计大图
在这里插入图片描述

模型建设流程（详细）
在这里插入图片描述

总线矩阵
指以一致性维度为列，以业务过程为行，构建业务的数据矩阵，通过标记表示该维度与业务过程的相关性。网上找了张图：
在这里插入图片描述

模型建设5要素
模型设计中核心要考量的要素为5项：主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
在这里插入图片描述
未完待更新

相关文章：

数据仓库（3）-模型建设

本文从以下9个内容，介绍数据参考模型建设相关内容。 1、OLTP VS OLAP OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle…...

编程日记 2024/1/19 2:00:44

交换机配置及网络测试

实验环境 拓扑图 Ip规划表 部门 主机数量 网络地址 子网掩码 网关 可用ip Vlan 市场部 38 192.168.131.0 255.255.255.0 192.168.131.1 2-254 11 研发部 53 192.168.132.0 255.255.255.0 192.168.132.1 2-254 12 财务部 9 192.168.133.0 255.255.255…...

编程日记 2024/1/19 1:57:42

贪吃蛇游戏

文章目录 前言一.Win32API1.1GetStdHandle1.2GetConsoleCursorInfo1.3SetConsoleCursorInfo1.4SetConsoleCursorPosition1.5GetAsyncKeyState1.6setlocale二.游戏设计三.GameStart3.1蛇的创建3.2分文件3.3控制台设置3.4WelComeToGame3.5CreateMap3.6InitSnack3.7CreateFood 四.…...

编程日记 2024/1/19 1:56:41

DPDK trace 的简单使用

文章目录 前言trace的简单使用 前言 日志用于记录不太频繁，比较高level的事情。trace记录频繁发生的事情，它的开销低。 trace可以在运行时，通过参数控制是否启用；可以在任何时间点，将trace记录的缓冲区保存到文件系统…...

编程日记 2024/1/19 1:54:39

《游戏-01_2D-开发》

首先利用安装好的Unity Hub创建一个unity 2D（URP渲染管线）项目 选择个人喜欢的操作格局（这里采用2 by 3） 在Project项目管理中将双栏改为单栏模式（个人喜好） 找到首选项（Preferences&#xff09…...

编程日记 2024/1/19 1:53:38

如何禁用WordPress站点的管理员电子邮件验证或修改检查频率？

今天boke112百科登录某个WordPress站点时，又出现“管理员邮件确认”的提示，要求确认此站点的管理员电子邮箱地址是否仍然正确。具体如下图所示： 如果点击“稍后提醒我”，那么管理员邮件验证页面就会在3天后重新显示。 说实话&…...

编程日记 2024/1/19 1:52:37

三、MySQL实例初始化、设置、服务启动关闭、环境变量配置、客户端登入（一篇足以从白走到黑）

目录 1、选择安装的电脑类型、设置端口号 2、选择mysql账号密码加密规则 3、设置root账户密码 4、设置mysql服务名和服务启动策略 5、执行设置（初始化mysql实例） 6、完成设置 7、MySQL数据库服务的启动和停止 方式一：图形化方式 方式…...

编程日记 2024/1/19 1:51:36

Ubuntu20.04-剪贴板

针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器，包含历史记录和同步功能 sudo apt install gpaste...

编程日记 2024/1/19 1:50:35

springmvc常用的组件

SpringMVC常用组件 以下的Handler也叫Controller。 1、DispatcherServlet：前端控制器，不需要工程师开发，由框架提供 作用：统一处理请求和响应，整个流程控制的中心，由它调用其它组件处理用户的请求 2、H…...

编程日记 2024/1/19 1:46:32

Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注&#xff1a…...

编程日记 2024/1/19 1:44:30

vue2+webpack升级vue3+vite，报错Cannot read properties of null (reading ‘isCE‘)

同学们可以私信我加入学习群！ 正文开始 前言问题分析解决总结 前言 系列文章：vue2webpack升级vue3vite，修改插件兼容性bug 前面的文章主要是介绍，在升级初始阶段遇到的一些显而易见的兼容性问题和bug。随着项目迭代的不断深入&a…...

编程日记 2024/1/19 1:43:30

【性能调优】local模式下flink处理离线任务能力分析

文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…...

编程日记 2024/1/19 1:42:29

Zabbix监控（2）

目录 一.自动发现 配置自动发现：（被动模式） 修改三台服务器的hosts文件： 修改agent02的配置文件： 访问页面，删除客服端主机配置： 在配置的自动发现中添加规则： 我们重启的zab…...

编程日记 2024/1/19 1:39:25

uni-app中代理的两种配置方式

方式一: 在项目的 manifest.json 文件中点击 源码视图 在最底部的vue版本下编写代理代码 方式二: 在项目中创建 vue.config.js 文件然后进行配置 在页面中发起请求 完整的url：http://c.m.163.com/recommend/getChanListNews?channelT1457068979049&size10 …...

编程日记 2024/1/19 1:37:23

循环异步调取接口使用数组promiseList保存，Promise.all(promiseList)获取不到数组内容，then()返回空数组

在使用 vue vant2.13.2 技术栈的项目中，因为上传文件的接口是单文件上传，当使用批量上传时，只能循环调取接口；然后有校验内容：需要所有文件上传成功后才能保存，在文件上传不成功时点击保存按钮&#xff0c…...

编程日记 2024/1/19 1:35:21

C++轮子 · STL 序列容器

STL中大家最耳熟能详的可能就是容器，容器大致可以分为两类，序列型容器（SequenceContainer）和关联型容器（AssociativeContainer）这篇文章中将会重点介绍STL中的各种序列型容器和相关的容器适配器。主要内容包括 std::vectorstd::arraystd::dequestd::queuestd::stackstd::…...

编程日记 2024/1/19 1:34:21

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…...

编程日记 2024/1/19 1:29:16

C#设计模式教程（2）：工厂方法模式

工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。 C# 代码实现 以下是C#中实现工厂方法模式的一个简单示例： 首先，定义一个抽象产品（Product）类，它是所有具体产品的基类。 pu…...

编程日记 2024/1/19 1:28:15

程序员的能力-如何成为不会过时的“码农”

码农是指从事编程工作的人，也被称为程序员或开发者。他们使用计算机语言和工具来编写、测试和维护软件程序或网站。码农通常需要具备扎实的计算机科学知识、编程技能和问题解决能力，以及良好的逻辑思维和团队合作能力。他们可以在软件开发公司、科技企业…...

编程日记 2024/1/19 1:27:14

【OpenAI】自定义GPTs应用(GPT助手应用)及外部API接口请求

11月10日，OpenAI正式宣布向所有ChatGPT Plus用户开放GPTs功能 简而言之：GPT应用市场(简称GPTs, 全称GPT Store) Ps： 上图为首次进入时的页面，第一部分是自己创建的GPTs应用，下面是公开可以使用的GPTs应用 一、创建GPTs…...

编程日记 2024/1/19 1:26:13

canvas绘制不同样式的五角星（图文示例）

查看专栏目录 canvas实例应用100专栏，提供canvas的基础知识，高级动画，相关应用扩展等信息。canvas作为html的一部分，是图像图标地图可视化的一个重要的基础，学好了canvas，在其他的一些应用上将会起到非常重…...

编程日记 2024/1/19 1:25:12

C#： BitConverter 字节数组byte[ ] 转各种数据类型用法列举

说明：C# BitConverter 字节数组byte[ ] 转各种数据类型用法示例 1.ToBoolean(byte[] value, int startIndex)：将指定字节数组中从指定索引开始的两个字节转换为布尔值。 byte[] bytes { 1, 0 }; bool result BitConverter.ToBoolean(bytes, 0); // 输…...

编程日记 2024/1/19 1:24:11

【开发实践】前端jQuery+gif图片实现载入界面

一、需求分析 载入界面（Loading screen）是指在计算机程序或电子游戏中，当用户启动应用程序或切换到新的场景时，显示在屏幕上的过渡界面。它的主要作用是向用户传达程序正在加载或准备就绪的信息，以及提供一种视觉上的反…...

编程日记 2024/1/19 1:23:10

解析消费全返：谈谈那些关于商业的小妙招

每天五分钟讲解商业模式，大家好我是模式策划啊浩。 在数字化时代，商业模式正在经历前所未有的变革。其中，消费全返的概念正在逐渐崭露头角，引领着商业创新的新潮流。消费全返，顾名思义，是指消费者在购买商…...

编程日记 2024/1/19 1:20:07

如何在MinIO存储服务中通过Buckets实现远程访问管理界面上传文件

文章目录 前言1. 创建Buckets和Access Keys2. Linux 安装Cpolar3. 创建连接MinIO服务公网地址4. 远程调用MinIO服务小结5. 固定连接TCP公网地址6. 固定地址连接测试 前言 MinIO是一款高性能、分布式的对象存储系统，它可以100%的运行在标准硬件上，即X86等…...

编程日记 2024/1/19 1:17:04

算法 - 二分法 / 双指针 / 三指针 / 滑动窗口

文章目录 🍺 二分法🍻 旋转数组🥂 33. 搜索旋转排序数组 [旋转数组] [目标值] (二分法) 🍻 元素边界🥂 34. 在排序数组中查找元素的第一个和最后一个位置 [有序数组] > [元素边界] > (二分法)🥂 81. …...

编程日记 2024/1/19 1:14:02

ChatGPT3.5、GPT4.0、DALL·E 3和Midjourney对话与绘画智能体验

MidTool（https://www.aimidtool.com/）是一个集成了多种先进人工智能技术的助手，它融合了ChatGPT3.5、GPT4.0、DALLE 3和Midjourney等不同的智能服务，提供了一个多功能的体验。下面是这些技术的简要介绍： ChatGPT3.5&am…...

编程日记 2024/1/19 1:13:01

MySQL中锁的概述

按照锁的粒度来分可分为：全局锁（锁住当前数据库的所有数据表），表级锁（锁住对应的数据表），行级锁（每次锁住对应的行数据） 加全局锁：flush tables with read lo…...

编程日记 2024/1/19 1:09:59

5396. 棋盘

5396. 棋盘 - AcWing题库 二维差分数组 #include <iostream> #include <vector> using namespace std;int main() {int n, m;cin >> n >> m;vector<vector<int>> v(n 2, vector<int>(n 2));while (m--) {int x1, x2, y1, y2;cin…...

编程日记 2024/1/19 1:08:58

阿里云地域和可用区分布表，2024更新

2024年阿里云服务器地域分布表&#xff0c;地域指数据中心所在的地理区域&#xff0c;通常按照数据中心所在的城市划分&#xff0c;例如华北2&#xff08;北京&#xff09;地域表示数据中心所在的城市是北京。阿里云地域分为四部分即中国、亚太其他国家、欧洲与美洲和中东&…...

编程日记 2024/1/19 1:07:57