当前位置： 首页 > news >正文

数据仓库（3）-模型建设

news 2026/3/26 11:12:25

本文从以下9个内容，介绍数据参考模型建设相关内容。
在这里插入图片描述

1、OLTP VS OLAP

OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle
OLAP：全称OnLine Analytical Processing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
在这里插入图片描述

两者比较结果可见如下
在这里插入图片描述

2、数仓分层

通常我们吧数据分成4层，ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
在这里插入图片描述

3、数仓数据建模

什么是数据模型：数据特征的抽象，通常包括数据结构、数据操作、数据约束。
在这里插入图片描述

4、数据建模方法

数据建模方式很多，数据仓种最常见的是两种，维度建模和三范式建模（也叫实体关系建模）。以下详细介绍
在这里插入图片描述

5、数据建模流程

模型设计基本原则

在这里插入图片描述

维度建模设计大图
在这里插入图片描述

模型建设流程（详细）
在这里插入图片描述

总线矩阵
指以一致性维度为列，以业务过程为行，构建业务的数据矩阵，通过标记表示该维度与业务过程的相关性。网上找了张图：
在这里插入图片描述

模型建设5要素
模型设计中核心要考量的要素为5项：主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
在这里插入图片描述
未完待更新

相关文章：

数据仓库（3）-模型建设

本文从以下9个内容，介绍数据参考模型建设相关内容。 1、OLTP VS OLAP OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle…...

编程日记 2024/1/19 2:00:44

交换机配置及网络测试

实验环境 拓扑图 Ip规划表 部门 主机数量 网络地址 子网掩码 网关 可用ip Vlan 市场部 38 192.168.131.0 255.255.255.0 192.168.131.1 2-254 11 研发部 53 192.168.132.0 255.255.255.0 192.168.132.1 2-254 12 财务部 9 192.168.133.0 255.255.255…...

编程日记 2024/1/19 1:57:42

贪吃蛇游戏

文章目录 前言一.Win32API1.1GetStdHandle1.2GetConsoleCursorInfo1.3SetConsoleCursorInfo1.4SetConsoleCursorPosition1.5GetAsyncKeyState1.6setlocale二.游戏设计三.GameStart3.1蛇的创建3.2分文件3.3控制台设置3.4WelComeToGame3.5CreateMap3.6InitSnack3.7CreateFood 四.…...

编程日记 2024/1/19 1:56:41

DPDK trace 的简单使用

文章目录 前言trace的简单使用 前言 日志用于记录不太频繁，比较高level的事情。trace记录频繁发生的事情，它的开销低。 trace可以在运行时，通过参数控制是否启用；可以在任何时间点，将trace记录的缓冲区保存到文件系统…...

编程日记 2024/1/19 1:54:39

《游戏-01_2D-开发》

首先利用安装好的Unity Hub创建一个unity 2D（URP渲染管线）项目 选择个人喜欢的操作格局（这里采用2 by 3） 在Project项目管理中将双栏改为单栏模式（个人喜好） 找到首选项（Preferences&#xff09…...

编程日记 2024/1/19 1:53:38

如何禁用WordPress站点的管理员电子邮件验证或修改检查频率？

今天boke112百科登录某个WordPress站点时，又出现“管理员邮件确认”的提示，要求确认此站点的管理员电子邮箱地址是否仍然正确。具体如下图所示： 如果点击“稍后提醒我”，那么管理员邮件验证页面就会在3天后重新显示。 说实话&…...

编程日记 2024/1/19 1:52:37

三、MySQL实例初始化、设置、服务启动关闭、环境变量配置、客户端登入（一篇足以从白走到黑）

目录 1、选择安装的电脑类型、设置端口号 2、选择mysql账号密码加密规则 3、设置root账户密码 4、设置mysql服务名和服务启动策略 5、执行设置（初始化mysql实例） 6、完成设置 7、MySQL数据库服务的启动和停止 方式一：图形化方式 方式…...

编程日记 2024/1/19 1:51:36

Ubuntu20.04-剪贴板

针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器，包含历史记录和同步功能 sudo apt install gpaste...

编程日记 2024/1/19 1:50:35

springmvc常用的组件

SpringMVC常用组件 以下的Handler也叫Controller。 1、DispatcherServlet：前端控制器，不需要工程师开发，由框架提供 作用：统一处理请求和响应，整个流程控制的中心，由它调用其它组件处理用户的请求 2、H…...

编程日记 2024/1/19 1:46:32

Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注&#xff1a…...

编程日记 2024/1/19 1:44:30

vue2+webpack升级vue3+vite，报错Cannot read properties of null (reading ‘isCE‘)

同学们可以私信我加入学习群！ 正文开始 前言问题分析解决总结 前言 系列文章：vue2webpack升级vue3vite，修改插件兼容性bug 前面的文章主要是介绍，在升级初始阶段遇到的一些显而易见的兼容性问题和bug。随着项目迭代的不断深入&a…...

编程日记 2024/1/19 1:43:30

【性能调优】local模式下flink处理离线任务能力分析

文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…...

编程日记 2024/1/19 1:42:29

Zabbix监控（2）

目录 一.自动发现 配置自动发现：（被动模式） 修改三台服务器的hosts文件： 修改agent02的配置文件： 访问页面，删除客服端主机配置： 在配置的自动发现中添加规则： 我们重启的zab…...

编程日记 2024/1/19 1:39:25

uni-app中代理的两种配置方式

方式一: 在项目的 manifest.json 文件中点击 源码视图 在最底部的vue版本下编写代理代码 方式二: 在项目中创建 vue.config.js 文件然后进行配置 在页面中发起请求 完整的url：http://c.m.163.com/recommend/getChanListNews?channelT1457068979049&size10 …...

编程日记 2024/1/19 1:37:23

循环异步调取接口使用数组promiseList保存，Promise.all(promiseList)获取不到数组内容，then()返回空数组

在使用 vue vant2.13.2 技术栈的项目中，因为上传文件的接口是单文件上传，当使用批量上传时，只能循环调取接口；然后有校验内容：需要所有文件上传成功后才能保存，在文件上传不成功时点击保存按钮&#xff0c…...

编程日记 2024/1/19 1:35:21

C++轮子 · STL 序列容器

STL中大家最耳熟能详的可能就是容器，容器大致可以分为两类，序列型容器（SequenceContainer）和关联型容器（AssociativeContainer）这篇文章中将会重点介绍STL中的各种序列型容器和相关的容器适配器。主要内容包括 std::vectorstd::arraystd::dequestd::queuestd::stackstd::…...

编程日记 2024/1/19 1:34:21

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…...

编程日记 2024/1/19 1:29:16

C#设计模式教程（2）：工厂方法模式

工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。 C# 代码实现 以下是C#中实现工厂方法模式的一个简单示例： 首先，定义一个抽象产品（Product）类，它是所有具体产品的基类。 pu…...

编程日记 2024/1/19 1:28:15

程序员的能力-如何成为不会过时的“码农”

码农是指从事编程工作的人，也被称为程序员或开发者。他们使用计算机语言和工具来编写、测试和维护软件程序或网站。码农通常需要具备扎实的计算机科学知识、编程技能和问题解决能力，以及良好的逻辑思维和团队合作能力。他们可以在软件开发公司、科技企业…...

编程日记 2024/1/19 1:27:14

【OpenAI】自定义GPTs应用(GPT助手应用)及外部API接口请求

11月10日，OpenAI正式宣布向所有ChatGPT Plus用户开放GPTs功能 简而言之：GPT应用市场(简称GPTs, 全称GPT Store) Ps： 上图为首次进入时的页面，第一部分是自己创建的GPTs应用，下面是公开可以使用的GPTs应用 一、创建GPTs…...

编程日记 2024/1/19 1:26:13

ChatGPT公式复制到Word的自动化实践：从手动操作到脚本实现

ChatGPT公式复制到Word的自动化实践：从手动操作到脚本实现 作为一名经常需要整理技术文档的开发者，我过去常常被一个看似简单却异常繁琐的任务困扰：将ChatGPT生成的数学公式或代码片段复制到Microsoft Word中。每次操作都像是一场格式的“灾…...

编程新知 2026/3/26 10:43:25

告别代码恐惧！用KRobot图形化编程，10分钟搞定Arduino巡线小车（附完整接线图）

零代码玩转Arduino巡线小车：KRobot图形化编程全攻略 第一次接触Arduino时，看到满屏的C代码是不是头皮发麻？作为教育工作者或创客爱好者，你可能更希望把时间花在创意实现上，而不是纠结于语法错误。现在，通过…...

编程新知 2026/3/26 10:39:24

塑胶件防裂实践：3D检测亲测有效

行业痛点分析在精密制造领域，塑胶件开裂是长期困扰工程师的顽疾。传统检测手段，如卡尺、三坐标测量机（CMM）或二维影像测量，存在明显局限。它们难以对复杂曲面、内部应力集中区域进行非接触式、全尺寸的量化评估&#x…...

编程新知 2026/3/26 9:26:52

如何快速实现本地离线语音识别：面向Windows用户的完整解决方案

如何快速实现本地离线语音识别：面向Windows用户的完整解决方案 【免费下载链接】TMSpeech 腾讯会议摸鱼工具 项目地址: https://gitcode.com/gh_mirrors/tm/TMSpeech 还在为会议记录、视频字幕、语音笔记而烦恼吗？传统的语音识别工具要么需要网络…...

编程新知 2026/3/26 9:14:47

ncmdumpGUI：实现NCM格式自由转换的音频解决方案

ncmdumpGUI：实现NCM格式自由转换的音频解决方案 【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换，Windows图形界面版本 项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 痛点剖析：NCM格式的技术民主化阻碍 格…...

编程新知 2026/3/26 9:08:46

论文降AI率完整操作教程：检测→定位→降AI→复查全流程详解

论文降AI率完整操作教程：检测→定位→降AI→复查全流程详解 很多同学一听"降AI率"就觉得很复杂。网上教程要么讲得太笼统（“用工具处理一下就好了”），要么一上来就推荐工具却不讲完整流程。 这篇教程不一样。我把降AI率…...

编程新知 2026/3/26 9:02:42

如何用猫抓Cat-Catch浏览器扩展轻松下载网页视频：5个超实用技巧

如何用猫抓Cat-Catch浏览器扩展轻松下载网页视频：5个超实用技巧 【免费下载链接】cat-catch 猫抓 chrome资源嗅探扩展 项目地址: https://gitcode.com/GitHub_Trending/ca/cat-catch 还在为无法下载在线视频而烦恼吗？🤔 你是否曾经在观…...

编程新知 2026/3/26 8:44:35

Coda Prompt 实战：如何通过智能提示提升开发效率

作为一名开发者，每天面对海量代码，你是否也常常感到疲惫？重复的 CRUD 操作、频繁在文档和 IDE 之间切换、为某个函数命名绞尽脑汁……这些看似微小的“摩擦力”，日积月累却严重消耗着我们的精力与时间。今天，我想和大家…...

编程新知 2026/3/26 8:22:31

SEO_资深从业者的高级SEO策略与实战技巧

前言：SEO的进阶之道 在当今互联网时代，搜索引擎优化（SEO）已经不再是一个简单的任务。对于资深从业者来说，SEO不仅仅是一门技术，更是一门艺术。本文将从多个角度探讨资深从业者的高级SEO策略与实战技巧&…...

编程新知 2026/3/26 8:14:30

解决插件管理痛点：Scarab的智能高效管理方案

解决插件管理痛点：Scarab的智能高效管理方案 【免费下载链接】Scarab An installer for Hollow Knight mods written in Avalonia. 项目地址: https://gitcode.com/gh_mirrors/sc/Scarab 你是否曾为部署一个心仪的游戏插件而耗费整个下午？好不容易…...

编程新知 2026/3/26 7:36:23