当前位置： 首页 > news >正文

数据仓库（3）-模型建设

news 2026/5/21 7:56:59

本文从以下9个内容，介绍数据参考模型建设相关内容。
在这里插入图片描述

1、OLTP VS OLAP

OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle
OLAP：全称OnLine Analytical Processing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
在这里插入图片描述

两者比较结果可见如下
在这里插入图片描述

2、数仓分层

通常我们吧数据分成4层，ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
在这里插入图片描述

3、数仓数据建模

什么是数据模型：数据特征的抽象，通常包括数据结构、数据操作、数据约束。
在这里插入图片描述

4、数据建模方法

数据建模方式很多，数据仓种最常见的是两种，维度建模和三范式建模（也叫实体关系建模）。以下详细介绍
在这里插入图片描述

5、数据建模流程

模型设计基本原则

在这里插入图片描述

维度建模设计大图
在这里插入图片描述

模型建设流程（详细）
在这里插入图片描述

总线矩阵
指以一致性维度为列，以业务过程为行，构建业务的数据矩阵，通过标记表示该维度与业务过程的相关性。网上找了张图：
在这里插入图片描述

模型建设5要素
模型设计中核心要考量的要素为5项：主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
在这里插入图片描述
未完待更新

相关文章：

数据仓库（3）-模型建设

本文从以下9个内容，介绍数据参考模型建设相关内容。 1、OLTP VS OLAP OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle…...

编程日记 2024/1/19 2:00:44

交换机配置及网络测试

实验环境 拓扑图 Ip规划表 部门 主机数量 网络地址 子网掩码 网关 可用ip Vlan 市场部 38 192.168.131.0 255.255.255.0 192.168.131.1 2-254 11 研发部 53 192.168.132.0 255.255.255.0 192.168.132.1 2-254 12 财务部 9 192.168.133.0 255.255.255…...

编程日记 2024/1/19 1:57:42

贪吃蛇游戏

文章目录 前言一.Win32API1.1GetStdHandle1.2GetConsoleCursorInfo1.3SetConsoleCursorInfo1.4SetConsoleCursorPosition1.5GetAsyncKeyState1.6setlocale二.游戏设计三.GameStart3.1蛇的创建3.2分文件3.3控制台设置3.4WelComeToGame3.5CreateMap3.6InitSnack3.7CreateFood 四.…...

编程日记 2024/1/19 1:56:41

DPDK trace 的简单使用

文章目录 前言trace的简单使用 前言 日志用于记录不太频繁，比较高level的事情。trace记录频繁发生的事情，它的开销低。 trace可以在运行时，通过参数控制是否启用；可以在任何时间点，将trace记录的缓冲区保存到文件系统…...

编程日记 2024/1/19 1:54:39

《游戏-01_2D-开发》

首先利用安装好的Unity Hub创建一个unity 2D（URP渲染管线）项目 选择个人喜欢的操作格局（这里采用2 by 3） 在Project项目管理中将双栏改为单栏模式（个人喜好） 找到首选项（Preferences&#xff09…...

编程日记 2024/1/19 1:53:38

如何禁用WordPress站点的管理员电子邮件验证或修改检查频率？

今天boke112百科登录某个WordPress站点时，又出现“管理员邮件确认”的提示，要求确认此站点的管理员电子邮箱地址是否仍然正确。具体如下图所示： 如果点击“稍后提醒我”，那么管理员邮件验证页面就会在3天后重新显示。 说实话&…...

编程日记 2024/1/19 1:52:37

三、MySQL实例初始化、设置、服务启动关闭、环境变量配置、客户端登入（一篇足以从白走到黑）

目录 1、选择安装的电脑类型、设置端口号 2、选择mysql账号密码加密规则 3、设置root账户密码 4、设置mysql服务名和服务启动策略 5、执行设置（初始化mysql实例） 6、完成设置 7、MySQL数据库服务的启动和停止 方式一：图形化方式 方式…...

编程日记 2024/1/19 1:51:36

Ubuntu20.04-剪贴板

针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器，包含历史记录和同步功能 sudo apt install gpaste...

编程日记 2024/1/19 1:50:35

springmvc常用的组件

SpringMVC常用组件 以下的Handler也叫Controller。 1、DispatcherServlet：前端控制器，不需要工程师开发，由框架提供 作用：统一处理请求和响应，整个流程控制的中心，由它调用其它组件处理用户的请求 2、H…...

编程日记 2024/1/19 1:46:32

Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注&#xff1a…...

编程日记 2024/1/19 1:44:30

vue2+webpack升级vue3+vite，报错Cannot read properties of null (reading ‘isCE‘)

同学们可以私信我加入学习群！ 正文开始 前言问题分析解决总结 前言 系列文章：vue2webpack升级vue3vite，修改插件兼容性bug 前面的文章主要是介绍，在升级初始阶段遇到的一些显而易见的兼容性问题和bug。随着项目迭代的不断深入&a…...

编程日记 2024/1/19 1:43:30

【性能调优】local模式下flink处理离线任务能力分析

文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…...

编程日记 2024/1/19 1:42:29

Zabbix监控（2）

目录 一.自动发现 配置自动发现：（被动模式） 修改三台服务器的hosts文件： 修改agent02的配置文件： 访问页面，删除客服端主机配置： 在配置的自动发现中添加规则： 我们重启的zab…...

编程日记 2024/1/19 1:39:25

uni-app中代理的两种配置方式

方式一: 在项目的 manifest.json 文件中点击 源码视图 在最底部的vue版本下编写代理代码 方式二: 在项目中创建 vue.config.js 文件然后进行配置 在页面中发起请求 完整的url：http://c.m.163.com/recommend/getChanListNews?channelT1457068979049&size10 …...

编程日记 2024/1/19 1:37:23

循环异步调取接口使用数组promiseList保存，Promise.all(promiseList)获取不到数组内容，then()返回空数组

在使用 vue vant2.13.2 技术栈的项目中，因为上传文件的接口是单文件上传，当使用批量上传时，只能循环调取接口；然后有校验内容：需要所有文件上传成功后才能保存，在文件上传不成功时点击保存按钮&#xff0c…...

编程日记 2024/1/19 1:35:21

C++轮子 · STL 序列容器

STL中大家最耳熟能详的可能就是容器，容器大致可以分为两类，序列型容器（SequenceContainer）和关联型容器（AssociativeContainer）这篇文章中将会重点介绍STL中的各种序列型容器和相关的容器适配器。主要内容包括 std::vectorstd::arraystd::dequestd::queuestd::stackstd::…...

编程日记 2024/1/19 1:34:21

浅谈智慧路灯安全智能供电方案设计

摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…...

编程日记 2024/1/19 1:29:16

C#设计模式教程（2）：工厂方法模式

工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。 C# 代码实现 以下是C#中实现工厂方法模式的一个简单示例： 首先，定义一个抽象产品（Product）类，它是所有具体产品的基类。 pu…...

编程日记 2024/1/19 1:28:15

程序员的能力-如何成为不会过时的“码农”

码农是指从事编程工作的人，也被称为程序员或开发者。他们使用计算机语言和工具来编写、测试和维护软件程序或网站。码农通常需要具备扎实的计算机科学知识、编程技能和问题解决能力，以及良好的逻辑思维和团队合作能力。他们可以在软件开发公司、科技企业…...

编程日记 2024/1/19 1:27:14

【OpenAI】自定义GPTs应用(GPT助手应用)及外部API接口请求

11月10日，OpenAI正式宣布向所有ChatGPT Plus用户开放GPTs功能 简而言之：GPT应用市场(简称GPTs, 全称GPT Store) Ps： 上图为首次进入时的页面，第一部分是自己创建的GPTs应用，下面是公开可以使用的GPTs应用 一、创建GPTs…...

编程日记 2024/1/19 1:26:13

[qemu+kvm]: smmu stage 2 建立流程

1. qemu倡导 gpa和hpa映射关系在vm建立时不确定，在运行时触发缺页异常后建立映射关系（lazy binding）。 2. smmu stage 2要求 gpa和hpa的映射关系在vm建立时确定，若在运行时触发缺页，会导致dma失败（pcie ats…...

编程新知 2026/5/21 7:08:57

蓝桥杯嵌入式第十届真题复盘：从CubeMX配置到EEPROM读写，我是如何一步步踩坑又爬出来的

蓝桥杯嵌入式第十届真题实战复盘：从CubeMX配置到EEPROM读写的深度解析 去年参加蓝桥杯嵌入式比赛的经历，至今回想起来仍让我心有余悸。第十届真题中的LED模块和EEPROM读写部分，堪称"嵌入式开发者的噩梦"。记得当时在实验室熬到凌晨…...

编程新知 2026/5/21 6:19:45

C语言编程实战：用ASCII码表玩转字符大小写转换（附完整代码）

C语言编程实战：用ASCII码表玩转字符大小写转换（附完整代码） 在编程的世界里，字符处理是最基础却又最容易被忽视的技能之一。很多C语言初学者在学习过程中，往往对字符和字符串的操作感到困惑——为什么a和A是不同的&…...

编程新知 2026/5/21 6:15:39

手把手教你用STM32F103C8T6和NTC热敏电阻DIY一个水温监测器（附完整代码）

手把手教你用STM32F103C8T6和NTC热敏电阻DIY一个水温监测器（附完整代码） 水温监测在家庭养鱼、咖啡机控制、热水器管理等场景中非常实用。本文将带你从零开始，用最常见的STM32F103C8T6最小系统板和NTC热敏电阻，打造一个低成本、高…...

编程新知 2026/5/21 6:02:11

如何快速实现swagger-jsdoc与TypeScript的完美集成：完整指南

如何快速实现swagger-jsdoc与TypeScript的完美集成：完整指南 【免费下载链接】swagger-jsdoc Generates swagger/openapi specification based on jsDoc comments and YAML files. 项目地址: https://gitcode.com/gh_mirrors/sw/swagger-jsdoc 在现代化的API…...

编程新知 2026/5/21 4:45:32

从游戏动作到影视特效：Blender Python骨骼动画脚本的跨界实战指南

从游戏动作到影视特效：Blender Python骨骼动画脚本的跨界实战指南 在数字内容创作领域，骨骼动画是连接游戏开发与影视特效的核心技术纽带。无论是独立游戏开发者需要将角色动作导出到Unity引擎，还是影视动画师希望批量处理动作捕捉数据&#…...

编程新知 2026/5/21 4:39:10

LangGraph 是什么？为什么它越来越像 AI Agent 时代的“操作系统”

文章目录一、为什么普通的“聊天式 AI”不够用了？1. 状态容易丢2. 流程难控制3. 执行失败后很难恢复4. 决策过程不透明二、LangGraph 到底是什么？1. 编排2. 运行时三、为什么很多人会说：LangGraph 像 Agent Server 的“操作系统”&#xff1f…...

编程新知 2026/5/21 3:58:57

具身智能商业化提速：天问机器人六大业务板块数据全景扫描

具身智能商业化提速：天问机器人六大业务板块数据全景扫描 行业数据观察 | 2026年6月15日 武汉光谷报道 当大模型从云端"落地"到机器人身上，当人形机器人从实验室走进商场、景区、学校——2026年的具身智能产业，正在经历从"技…...

编程新知 2026/5/21 3:20:47

SpringBoot 启动类 标准写法

package org.example.rabbitmqspringbootdemodemo; // 改成你自己的项目包名import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;SpringBootApplicationpublic class RabbitMqDemoApplication {public s…...

编程新知 2026/5/21 2:44:43

影刀RPA跨境店群自动化实战：Python协同Chromium打破风控“垄断”的高并发调度系统架构

定了。彻底打破传统商业指纹浏览器的生态「垄断」与电商巨头风控体系的「底层封锁」，我们用一套基于 Python 深度协同的分布式微服务调度架构，重塑了跨境千店矩阵的自动化底座。 这几天，科技圈被“DeepSeek V4 首发华为芯片，国产…...

编程新知 2026/5/21 1:40:06