数据仓库与ETL
什么是数据仓库
一种用于存储和管理数据的系统，提供一种统一方式，将不同来源、不同方式、不同时间的数据集成在一起。
数据仓库结构
主题域：一个特定领域的数据集，比如营销、销售、客户、库存等。
维度：定义数据的不同角度，时间、地点等。
事实表：存储实际数据，销售额、库存量等。
四个特点：
面向主题：数据仓库面向企业或组织主要的主题，不同于传统的数据库系统，数据仓库将企业不同的业务系统、数据来源整合到一起，使得用户可以集中处理特定主题的问题。
集成的：数据仓库与企业内部或外部的多个源系统整合，把这些单个的数据源整合到一起形成一张完整的数据库，使得企业数据变得完整、方便分析。
非易失的（稳定的、不可更新）：数据仓库中的数据被认为是“非易失的”即一旦存储在仓库中就不会丢失。数据仓库需要保留历史数据以便分析，同时为了保证数据持久性，数据仓库采用了数据备份和恢复机制。
面向分析（反映历史变化、时间特性）：数据仓库主要用于支持企业的决策分析过程。数据仓库的数据表结构、字段、视图等信息都是被设计为方便用户进行数据分析、交互、制图和报表的。同时，数据仓库采用了 OLAP 技术，使得用户可以进行复杂的多维数据分析，以及在线分析处理等操作。
主机不变
ETL过程
抽取数据：不同数据源抽取数据
转换：清洗、格式化、转换
加载：加载到数据仓库、分析和报表操作
全量加载
增量加载
相关文章：
数据仓库与ETL
什么是数据仓库 一种用于存储和管理数据的系统，提供一种统一方式，将不同来源、不同方式、不同时间的数据集成在一起。 数据仓库结构 主题域：一个特定领域的数据集，比如营销、销售、客户、库存等。 维度：定义数据的不…...
Centos7安装Gitlab--gitlab--ee版
1 安装必要依赖 2 配置GitLab软件源镜像 3 下载安装GitLab 4 查看管理员root用户默认密码 5 登录GitLab 6 修改密码 7 gitlab相关命令 1 安装必要依赖 sudo yum install -y curl policycoreutils-python openssh-server perl sudo systemctl enable sshd sudo systemctl sta…...
主题教育问题清单及整改措施2023年-主题教育对照六个方面个人剖析材料
无论前方路途多么坎坷，都要保持内心的坚定和勇敢。生活中没有什么不可战胜的困难，只有我们是否愿意去面对和克服。要相信自己的能力，相信自己拥有足够的智慧和力量去应对一切挑战 每一次的努力都不会白费，每一次的奋斗都是在为自己…...
php新手实战：自定义书源下载api
网上有很多第三方小说网站提供小说下载，而下载的过程无非就是搜索书籍，然后找到下载链接点击下载即可。只是类似这种“良心”的小说网站实在是太少。大多数仅支持在线阅读。而如今，我却要利用这种为数不多的“良心”小说站点提供的书源来作为…...
数据结构 - 5（二叉树7000字详解）
一：二叉树的基本概念 1.1树形结构 树是一种非线性的数据结构，它是由n（n>0）个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。 注意&am…...
xshell使用方法（超详细）
一、安装 下载最新版安装即可，不需要做任何配置。 安装完成后输入账号名和邮箱，确认后邮箱会收到一条确认邮件，将里面的链接点开即可免费使用（仅安装后会出现，认证后以后再打开不需要重复操作，如果重新安…...
【数据库系统概论】第三章关系数据库标准语言SQL
选择题会考： 1.数据查询： SELECT：用于选择需要查询的列和行。 FROM：用于指定要查询的表。 WHERE：用于指定查询条件。 GROUP BY：用于按照指定的列对结果进行分组。 HAVING：用于指定分组条件…...
云计算是什么？学习云计算能做什么工作？
很多人经常会问云计算是什么？云计算能干什么？学习云计算能做什么工作？其实我们有很多人并不知道云计算是什么，小知今天来给大家讲讲学习云计算能做什么。 中国的云计算行业目前正处于快速发展阶段，随着互联网和数字化…...
ES6 -- 模块化(CommonJS、AMD、ES Module)
模块模式 将代码拆分成独立的块，然后再将这些块连接起来可以通过模块模式来实现。这种模式背后的思想很简单：把逻辑分块，各自封装，相互独立，每个块自行决定对外暴露什么，同时自行决定引入执行哪些外部代码…...
c# xml 参数读取读取的简单使用
完整使用之测试参数的读取（xml） 保存一个xml文档（如果没有就会生成一个默认的 里面的参数用的是我们默认设置的），之后每次更改里面的某项，然后保存 类似于重新刷新一遍。 这里所用的xml测试参数前面需要加…...
gym原来是这样用的
今天down了一个深度强化学习的程序，但是试来试去总是跑不成功，第一句就出问题了 env gym.make("clusterEnv-v0").unwrapped总是报没有该环境，思想半天，然后发现这是自己写的环境，需要到gym中去注册才能使用…...
百度SEO优化技巧与布局（提升网站排名的5种有效方法）
网站SEO关键词介绍： SEO（SearchEngineOptimization）即搜索引擎优化，是通过一系列技术手段和策略，让网站在搜索引擎中获得更好的排名和流量。关键词是SEO优化的重要组成部分，通过关键词布局合理，…...
文案配音软件哪个好？（适合新手使用）
随着短视频的逐渐普及，视频博主越来越多，所以很多朋友也期待成为视频博主。但是，如果你想成为一个有名的视频博主，你需要在很多层面上比别人做得更好。其中之一就是视频文字的配音。相信大部分人都没有配音的技巧，所以…...
excel映射xml方法
excel映射xml方法 创建xml模板 新建一个文本文件，编写模板并命名为xxx.xml <?xml version"1.0" encoding"UTF-8"?> <root><item ID""><surname></surname><man></man><woman>&…...
2023/10/15
文章目录 1.uniapp之Vue2升Vue3值得注意的几点1.1 页面生命周期的使用1.2 引入资源的方式 2. 浏览器本地存储之Cookie和webStorage3. CSS变量 var()的用法4. CSS之实现线性渐变背景5. 图片无法和文字对齐的正确解决方案6. 使用正则处理接口返回的富文本内的图片7. transition实…...
Linux系统中如何开启和配置OpenGauss数据库的远程连接
文章目录 前言1. Linux 安装 openGauss2. Linux 安装cpolar3. 创建openGauss主节点端口号公网地址4. 远程连接openGauss5. 固定连接TCP公网地址6. 固定地址连接测试 前言 openGauss是一款开源关系型数据库管理系统，采用木兰宽松许可证v2发行。openGauss内核深度融合…...
【Docker】Docker网络及容器间通信详解
目录 背景 默认网络 1、bridge 网络模式 2、host 网络模式 3、none 网络模式 4、container 网络模式 自定义网络 容器间网络通信 IP通信 Docker DNS server Joined容器 前言 本实验通过docker DNS server和joined 容器两种方法实现Docker容器间的通信。Docker容器间…...
TikTok国际版 使用特网科技Bluestacks模拟器安装方法
特网科技Bluestacks模拟器主机 桌面自带Bluestacks模拟器 TikTok国际版Bluestacks模拟器搜索tiktot 登录google应用商店-安装TikTok 安装过程可能需要3-5分钟不等-配置过低可能会导致安装失败，建议升级更高内存。 安装完成-打开 安装成功APP-我的游戏查看 打开国际版…...
【Hello Algorithm】暴力递归到动态规划（四）
动态规划的数组压缩技巧 - 机器人走格子问题 题目是leetcode62题目原题 表示如下 一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中…...
arm day 8
arm 写一段按键中断代码 main.c #include "uart.h" #include "key_it.h" int main() {char c;char *s;uart4_init();//串口初始化//中断初始化key_it_config();while(1){//保证主程序不结束}return 0; } src/key_it.c #include"key_it.h"voi…...
均衡后的SNRSINR
本文主要摘自参考文献中的前两篇，相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程，其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线， n r n_r nr 根接收天线的 MIMO 系…...
使用Matplotlib创建炫酷的3D散点图：数据可视化的新维度
文章目录 基础实现代码代码解析进阶技巧1. 自定义点的大小和颜色2. 添加图例和样式美化3. 真实数据应用示例实用技巧与注意事项完整示例（带样式）应用场景在数据科学和可视化领域，三维图形能为我们提供更丰富的数据洞察。本文将手把手教你如何使用Python的Matplotlib库创建引…...
return this；返回的是谁
一个审批系统的示例来演示责任链模式的实现。假设公司需要处理不同金额的采购申请，不同级别的经理有不同的审批权限： // 抽象处理者：审批者 abstract class Approver {protected Approver successor; // 下一个处理者// 设置下一个处理者pub…...
使用Spring AI和MCP协议构建图片搜索服务
目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式（本地调用） SSE模式（远程调用） 4. 注册工具提…...
虚拟电厂发展三大趋势：市场化、技术主导、车网互联
市场化：从政策驱动到多元盈利 政策全面赋能 2025年4月，国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》，首次明确虚拟电厂为“独立市场主体”，提出硬性目标：2027年全国调节能力≥2000万千瓦࿰…...
【Linux】Linux 系统默认的目录及作用说明
博主介绍：✌全网粉丝23W，CSDN博客专家、Java领域优质创作者，掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围：SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...
腾讯云V3签名
想要接入腾讯云的Api，必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口，但总是卡在签名这一步，最后放弃选择SDK，这次终于自己代码实现。 可能腾讯云翻新了接口文档，现在阅读起来，清晰了很多&…...
scikit-learn机器学习
# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...
WPF八大法则：告别模态窗口卡顿
⚙️ 核心问题：阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程，导致后续逻辑无法执行： var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题：…...
在RK3588上搭建ROS1环境：创建节点与数据可视化实战指南
在RK3588上搭建ROS1环境：创建节点与数据可视化实战指南 背景介绍完整操作步骤1. 创建Docker容器环境2. 验证GUI显示功能3. 安装ROS Noetic4. 配置环境变量5. 创建ROS节点（小球运动模拟）6. 配置RVIZ默认视图7. 创建启动脚本8. 运行可视化系统效果展示与交互技术解析ROS节点通…...