当前位置： 首页 > news >正文

数据仓库（3）-模型建设

news 2026/2/8 23:34:15

本文从以下9个内容，介绍数据参考模型建设相关内容。
在这里插入图片描述

1、OLTP VS OLAP

OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle
OLAP：全称OnLine Analytical Processing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
在这里插入图片描述

两者比较结果可见如下
在这里插入图片描述

2、数仓分层

通常我们吧数据分成4层，ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
在这里插入图片描述

3、数仓数据建模

什么是数据模型：数据特征的抽象，通常包括数据结构、数据操作、数据约束。
在这里插入图片描述

4、数据建模方法

数据建模方式很多，数据仓种最常见的是两种，维度建模和三范式建模（也叫实体关系建模）。以下详细介绍
在这里插入图片描述

5、数据建模流程

模型设计基本原则

在这里插入图片描述

维度建模设计大图
在这里插入图片描述

模型建设流程（详细）
在这里插入图片描述

总线矩阵
指以一致性维度为列，以业务过程为行，构建业务的数据矩阵，通过标记表示该维度与业务过程的相关性。网上找了张图：
在这里插入图片描述

模型建设5要素
模型设计中核心要考量的要素为5项：主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
在这里插入图片描述
未完待更新

相关文章：

数据仓库（3）-模型建设

本文从以下9个内容，介绍数据参考模型建设相关内容。 1、OLTP VS OLAP OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle…...

编程日记 2024/1/19 2:00:44

交换机配置及网络测试

实验环境 拓扑图 Ip规划表 部门 主机数量 网络地址 子网掩码 网关 可用ip Vlan 市场部 38 192.168.131.0 255.255.255.0 192.168.131.1 2-254 11 研发部 53 192.168.132.0 255.255.255.0 192.168.132.1 2-254 12 财务部 9 192.168.133.0 255.255.255…...

编程日记 2024/1/19 1:57:42

贪吃蛇游戏

文章目录 前言一.Win32API1.1GetStdHandle1.2GetConsoleCursorInfo1.3SetConsoleCursorInfo1.4SetConsoleCursorPosition1.5GetAsyncKeyState1.6setlocale二.游戏设计三.GameStart3.1蛇的创建3.2分文件3.3控制台设置3.4WelComeToGame3.5CreateMap3.6InitSnack3.7CreateFood 四.…...

编程日记 2024/1/19 1:56:41

DPDK trace 的简单使用

文章目录 前言trace的简单使用 前言 日志用于记录不太频繁，比较高level的事情。trace记录频繁发生的事情，它的开销低。 trace可以在运行时，通过参数控制是否启用；可以在任何时间点，将trace记录的缓冲区保存到文件系统…...

编程日记 2024/1/19 1:54:39

《游戏-01_2D-开发》

首先利用安装好的Unity Hub创建一个unity 2D（URP渲染管线）项目 选择个人喜欢的操作格局（这里采用2 by 3） 在Project项目管理中将双栏改为单栏模式（个人喜好） 找到首选项（Preferences&#xff09…...

编程日记 2024/1/19 1:53:38

如何禁用WordPress站点的管理员电子邮件验证或修改检查频率？

今天boke112百科登录某个WordPress站点时，又出现“管理员邮件确认”的提示，要求确认此站点的管理员电子邮箱地址是否仍然正确。具体如下图所示： 如果点击“稍后提醒我”，那么管理员邮件验证页面就会在3天后重新显示。 说实话&…...

编程日记 2024/1/19 1:52:37

三、MySQL实例初始化、设置、服务启动关闭、环境变量配置、客户端登入（一篇足以从白走到黑）

目录 1、选择安装的电脑类型、设置端口号 2、选择mysql账号密码加密规则 3、设置root账户密码 4、设置mysql服务名和服务启动策略 5、执行设置（初始化mysql实例） 6、完成设置 7、MySQL数据库服务的启动和停止 方式一：图形化方式 方式…...

编程日记 2024/1/19 1:51:36

Ubuntu20.04-剪贴板

针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器，包含历史记录和同步功能 sudo apt install gpaste...

编程日记 2024/1/19 1:50:35

springmvc常用的组件

SpringMVC常用组件 以下的Handler也叫Controller。 1、DispatcherServlet：前端控制器，不需要工程师开发，由框架提供 作用：统一处理请求和响应，整个流程控制的中心，由它调用其它组件处理用户的请求 2、H…...

编程日记 2024/1/19 1:46:32

Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注&#xff1a…...

编程日记 2024/1/19 1:44:30

vue2+webpack升级vue3+vite，报错Cannot read properties of null (reading ‘isCE‘)

同学们可以私信我加入学习群！ 正文开始 前言问题分析解决总结 前言 系列文章：vue2webpack升级vue3vite，修改插件兼容性bug 前面的文章主要是介绍，在升级初始阶段遇到的一些显而易见的兼容性问题和bug。随着项目迭代的不断深入&a…...

编程日记 2024/1/19 1:43:30

【性能调优】local模式下flink处理离线任务能力分析

文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…...

编程日记 2024/1/19 1:42:29

Zabbix监控（2）

目录 一.自动发现 配置自动发现：（被动模式） 修改三台服务器的hosts文件： 修改agent02的配置文件： 访问页面，删除客服端主机配置： 在配置的自动发现中添加规则： 我们重启的zab…...

编程日记 2024/1/19 1:39:25

uni-app中代理的两种配置方式

方式一: 在项目的 manifest.json 文件中点击 源码视图 在最底部的vue版本下编写代理代码 方式二: 在项目中创建 vue.config.js 文件然后进行配置 在页面中发起请求 完整的url：http://c.m.163.com/recommend/getChanListNews?channelT1457068979049&size10 …...

编程日记 2024/1/19 1:37:23

循环异步调取接口使用数组promiseList保存，Promise.all(promiseList)获取不到数组内容，then()返回空数组

在使用 vue vant2.13.2 技术栈的项目中，因为上传文件的接口是单文件上传，当使用批量上传时，只能循环调取接口；然后有校验内容：需要所有文件上传成功后才能保存，在文件上传不成功时点击保存按钮&#xff0c…...

编程日记 2024/1/19 1:35:21

C++轮子 · STL 序列容器

STL中大家最耳熟能详的可能就是容器，容器大致可以分为两类，序列型容器（SequenceContainer）和关联型容器（AssociativeContainer）这篇文章中将会重点介绍STL中的各种序列型容器和相关的容器适配器。主要内容包括 std::vectorstd::arraystd::dequestd::queuestd::stackstd::…...

编程日记 2024/1/19 1:34:21

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…...

编程日记 2024/1/19 1:29:16

C#设计模式教程（2）：工厂方法模式

工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。 C# 代码实现 以下是C#中实现工厂方法模式的一个简单示例： 首先，定义一个抽象产品（Product）类，它是所有具体产品的基类。 pu…...

编程日记 2024/1/19 1:28:15

程序员的能力-如何成为不会过时的“码农”

码农是指从事编程工作的人，也被称为程序员或开发者。他们使用计算机语言和工具来编写、测试和维护软件程序或网站。码农通常需要具备扎实的计算机科学知识、编程技能和问题解决能力，以及良好的逻辑思维和团队合作能力。他们可以在软件开发公司、科技企业…...

编程日记 2024/1/19 1:27:14

【OpenAI】自定义GPTs应用(GPT助手应用)及外部API接口请求

11月10日，OpenAI正式宣布向所有ChatGPT Plus用户开放GPTs功能 简而言之：GPT应用市场(简称GPTs, 全称GPT Store) Ps： 上图为首次进入时的页面，第一部分是自己创建的GPTs应用，下面是公开可以使用的GPTs应用 一、创建GPTs…...

编程日记 2024/1/19 1:26:13

黑马Mybatis

Mybatis 表现层&#xff1a;页面展示 业务层&#xff1a;逻辑处理 持久层&#xff1a;持久数据化保存 在这里插入图片描述 Mybatis快速入门 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6501c2109c4442118ceb6014725e48e4.png //logback.xml <?xml ver…...

编程新知 2026/1/22 14:22:27

k8s从入门到放弃之Ingress七层负载

k8s从入门到放弃之Ingress七层负载 在Kubernetes&#xff08;简称K8s&#xff09;中&#xff0c;Ingress是一个API对象&#xff0c;它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress&#xff0c;你可…...

编程新知 2025/9/7 0:12:53

Python：操作 Excel 折叠

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

编程新知 2026/1/30 20:05:06

IGP（Interior Gateway Protocol，内部网关协议）

IGP&#xff08;Interior Gateway Protocol&#xff0c;内部网关协议&#xff09; 是一种用于在一个自治系统&#xff08;AS&#xff09;内部传递路由信息的路由协议&#xff0c;主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...

编程新知 2025/10/12 11:54:26

为什么需要建设工程项目管理？工程项目管理有哪些亮点功能？

在建筑行业&#xff0c;项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升&#xff0c;传统的管理模式已经难以满足现代工程的需求。过去&#xff0c;许多企业依赖手工记录、口头沟通和分散的信息管理&#xff0c;导致效率低下、成本失控、风险频发。例如&#…...

编程新知 2026/2/4 12:35:34

CentOS下的分布式内存计算Spark环境部署

一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架&#xff0c;相比 MapReduce 具有以下核心优势&#xff1a; 内存计算&#xff1a;数据可常驻内存&#xff0c;迭代计算性能提升 10-100 倍&#xff08;文档段落&#xff1a;3-79…...

编程新知 2026/2/5 1:30:05

C++ 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2026/1/31 12:52:15

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;社区养老保险系统小程序被用户普遍使用&#xff0c;为方…...

编程新知 2026/1/26 2:48:53

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/10/16 16:03:09

莫兰迪高级灰总结计划简约商务通用PPT模版

莫兰迪高级灰总结计划简约商务通用PPT模版&#xff0c;莫兰迪调色板清新简约工作汇报PPT模版&#xff0c;莫兰迪时尚风极简设计PPT模版&#xff0c;大学生毕业论文答辩PPT模版&#xff0c;莫兰迪配色总结计划简约商务通用PPT模版&#xff0c;莫兰迪商务汇报PPT模版&#xff0c;…...

编程新知 2026/1/29 10:37:37