数据仓库（3）-模型建设
本文从以下9个内容，介绍数据参考模型建设相关内容。
1、OLTP VS OLAP
OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle
OLAP：全称OnLine Analytical Processing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
两者比较结果可见如下
2、数仓分层
通常我们吧数据分成4层，ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
3、数仓数据建模
什么是数据模型：数据特征的抽象，通常包括数据结构、数据操作、数据约束。
4、数据建模方法
数据建模方式很多，数据仓种最常见的是两种，维度建模和三范式建模（也叫实体关系建模）。以下详细介绍
5、数据建模流程
模型设计基本原则
维度建模设计大图
模型建设流程（详细）
总线矩阵
指以一致性维度为列，以业务过程为行，构建业务的数据矩阵，通过标记表示该维度与业务过程的相关性。网上找了张图：
模型建设5要素
模型设计中核心要考量的要素为5项：主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
未完待更新
相关文章：
数据仓库（3）-模型建设
本文从以下9个内容，介绍数据参考模型建设相关内容。 1、OLTP VS OLAP OLTP：全称OnLine Transaction Processing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle…...
交换机配置及网络测试
实验环境 拓扑图 Ip规划表 部门 主机数量 网络地址 子网掩码 网关 可用ip Vlan 市场部 38 192.168.131.0 255.255.255.0 192.168.131.1 2-254 11 研发部 53 192.168.132.0 255.255.255.0 192.168.132.1 2-254 12 财务部 9 192.168.133.0 255.255.255…...
贪吃蛇游戏
文章目录 前言一.Win32API1.1GetStdHandle1.2GetConsoleCursorInfo1.3SetConsoleCursorInfo1.4SetConsoleCursorPosition1.5GetAsyncKeyState1.6setlocale二.游戏设计三.GameStart3.1蛇的创建3.2分文件3.3控制台设置3.4WelComeToGame3.5CreateMap3.6InitSnack3.7CreateFood 四.…...
DPDK trace 的简单使用
文章目录 前言trace的简单使用 前言 日志用于记录不太频繁，比较高level的事情。trace记录频繁发生的事情，它的开销低。 trace可以在运行时，通过参数控制是否启用；可以在任何时间点，将trace记录的缓冲区保存到文件系统…...
《游戏-01_2D-开发》
首先利用安装好的Unity Hub创建一个unity 2D（URP渲染管线）项目 选择个人喜欢的操作格局（这里采用2 by 3） 在Project项目管理中将双栏改为单栏模式（个人喜好） 找到首选项（Preferences）…...
如何禁用WordPress站点的管理员电子邮件验证或修改检查频率？
今天boke112百科登录某个WordPress站点时，又出现“管理员邮件确认”的提示，要求确认此站点的管理员电子邮箱地址是否仍然正确。具体如下图所示： 如果点击“稍后提醒我”，那么管理员邮件验证页面就会在3天后重新显示。 说实话&…...
三、MySQL实例初始化、设置、服务启动关闭、环境变量配置、客户端登入（一篇足以从白走到黑）
目录 1、选择安装的电脑类型、设置端口号 2、选择mysql账号密码加密规则 3、设置root账户密码 4、设置mysql服务名和服务启动策略 5、执行设置（初始化mysql实例） 6、完成设置 7、MySQL数据库服务的启动和停止 方式一：图形化方式 方式…...
Ubuntu20.04-剪贴板
针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器，包含历史记录和同步功能 sudo apt install gpaste...
springmvc常用的组件
SpringMVC常用组件 以下的Handler也叫Controller。 1、DispatcherServlet：前端控制器，不需要工程师开发，由框架提供 作用：统一处理请求和响应，整个流程控制的中心，由它调用其它组件处理用户的请求 2、H…...
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)
场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注：…...
vue2+webpack升级vue3+vite，报错Cannot read properties of null (reading ‘isCE‘)
同学们可以私信我加入学习群！ 正文开始 前言问题分析解决总结 前言 系列文章：vue2webpack升级vue3vite，修改插件兼容性bug 前面的文章主要是介绍，在升级初始阶段遇到的一些显而易见的兼容性问题和bug。随着项目迭代的不断深入&a…...
【性能调优】local模式下flink处理离线任务能力分析
文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…...
Zabbix监控（2）
目录 一.自动发现 配置自动发现：（被动模式） 修改三台服务器的hosts文件： 修改agent02的配置文件： 访问页面，删除客服端主机配置： 在配置的自动发现中添加规则： 我们重启的zab…...
uni-app中代理的两种配置方式
方式一: 在项目的 manifest.json 文件中点击 源码视图 在最底部的vue版本下编写代理代码 方式二: 在项目中创建 vue.config.js 文件然后进行配置 在页面中发起请求 完整的url：http://c.m.163.com/recommend/getChanListNews?channelT1457068979049&size10 …...
循环异步调取接口使用数组promiseList保存，Promise.all(promiseList)获取不到数组内容，then()返回空数组
在使用 vue vant2.13.2 技术栈的项目中，因为上传文件的接口是单文件上传，当使用批量上传时，只能循环调取接口；然后有校验内容：需要所有文件上传成功后才能保存，在文件上传不成功时点击保存按钮，…...
C++轮子 · STL 序列容器
STL中大家最耳熟能详的可能就是容器，容器大致可以分为两类，序列型容器（SequenceContainer）和关联型容器（AssociativeContainer）这篇文章中将会重点介绍STL中的各种序列型容器和相关的容器适配器。主要内容包括 std::vectorstd::arraystd::dequestd::queuestd::stackstd::…...
浅谈智慧路灯安全智能供电方案设计
摘要: 智慧路灯，作为智慧城市、新基建、城市更新的主要组成部分，近些年在各大城市已得到很好的落地和 应用，但其与传统路灯相比集成大量异元异构电子设备，这些设备的供电电压、接口形式、权属单位各不相同， 如何设计一…...
C#设计模式教程（2）：工厂方法模式
工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。 C# 代码实现 以下是C#中实现工厂方法模式的一个简单示例： 首先，定义一个抽象产品（Product）类，它是所有具体产品的基类。 pu…...
程序员的能力-如何成为不会过时的“码农”
码农是指从事编程工作的人，也被称为程序员或开发者。他们使用计算机语言和工具来编写、测试和维护软件程序或网站。码农通常需要具备扎实的计算机科学知识、编程技能和问题解决能力，以及良好的逻辑思维和团队合作能力。他们可以在软件开发公司、科技企业…...
【OpenAI】自定义GPTs应用(GPT助手应用)及外部API接口请求
11月10日，OpenAI正式宣布向所有ChatGPT Plus用户开放GPTs功能 简而言之：GPT应用市场(简称GPTs, 全称GPT Store) Ps： 上图为首次进入时的页面，第一部分是自己创建的GPTs应用，下面是公开可以使用的GPTs应用 一、创建GPTs…...
[2025CVPR]DeepVideo-R1：基于难度感知回归GRPO的视频强化微调框架详解
突破视频大语言模型推理瓶颈，在多个视频基准上实现SOTA性能 一、核心问题与创新亮点 1.1 GRPO在视频任务中的两大挑战 安全措施依赖问题 GRPO使用min和clip函数限制策略更新幅度，导致： 梯度抑制：当新旧策略差异过大时梯度消失收敛困难：策略无法充分优化# 传统GRPO的梯…...
synchronized 学习
学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
工业安全零事故的智能守护者：一体化AI智能安防平台
前言： 通过AI视觉技术，为船厂提供全面的安全监控解决方案，涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面，能够实现对应负责人反馈机制，并最终实现数据的统计报表。提升船厂…...
Java 加密常用的各种算法及其选择
在数字化时代，数据安全至关重要，Java 作为广泛应用的编程语言，提供了丰富的加密算法来保障数据的保密性、完整性和真实性。了解这些常用加密算法及其适用场景，有助于开发者在不同的业务需求中做出正确的选择。 一、对称加密算法…...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
图表类系列各种样式PPT模版分享
图标图表系列PPT模版，柱状图PPT模版，线状图PPT模版，折线图PPT模版，饼状图PPT模版，雷达图PPT模版，树状图PPT模版 图表类系列各种样式PPT模版分享：图表系列PPT模板https://pan.quark.cn/s/20d40aa…...
Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）
参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...
Rapidio门铃消息FIFO溢出机制
关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系，以下是深入解析： 门铃FIFO溢出的本质 在RapidIO系统中，门铃消息FIFO是硬件控制器内部的缓冲区，用于临时存储接收到的门铃消息（Doorbell Message）。…...
C#学习第29天：表达式树（Expression Trees）
目录 什么是表达式树？ 核心概念 1.表达式树的构建 2. 表达式树与Lambda表达式 3.解析和访问表达式树 4.动态条件查询 表达式树的优势 1.动态构建查询 2.LINQ 提供程序支持： 3.性能优化 4.元数据处理 5.代码转换和重写 适用场景 代码复杂性…...