数据仓库与ETL
什么是数据仓库
一种用于存储和管理数据的系统，提供一种统一方式，将不同来源、不同方式、不同时间的数据集成在一起。
数据仓库结构
主题域：一个特定领域的数据集，比如营销、销售、客户、库存等。
维度：定义数据的不同角度，时间、地点等。
事实表：存储实际数据，销售额、库存量等。
四个特点：
面向主题：数据仓库面向企业或组织主要的主题，不同于传统的数据库系统，数据仓库将企业不同的业务系统、数据来源整合到一起，使得用户可以集中处理特定主题的问题。
集成的：数据仓库与企业内部或外部的多个源系统整合，把这些单个的数据源整合到一起形成一张完整的数据库，使得企业数据变得完整、方便分析。
非易失的（稳定的、不可更新）：数据仓库中的数据被认为是“非易失的”即一旦存储在仓库中就不会丢失。数据仓库需要保留历史数据以便分析，同时为了保证数据持久性，数据仓库采用了数据备份和恢复机制。
面向分析（反映历史变化、时间特性）：数据仓库主要用于支持企业的决策分析过程。数据仓库的数据表结构、字段、视图等信息都是被设计为方便用户进行数据分析、交互、制图和报表的。同时，数据仓库采用了 OLAP 技术，使得用户可以进行复杂的多维数据分析，以及在线分析处理等操作。
主机不变
ETL过程
抽取数据：不同数据源抽取数据
转换：清洗、格式化、转换
加载：加载到数据仓库、分析和报表操作
全量加载
增量加载
相关文章：
数据仓库与ETL
什么是数据仓库 一种用于存储和管理数据的系统，提供一种统一方式，将不同来源、不同方式、不同时间的数据集成在一起。 数据仓库结构 主题域：一个特定领域的数据集，比如营销、销售、客户、库存等。 维度：定义数据的不…...
Centos7安装Gitlab--gitlab--ee版
1 安装必要依赖 2 配置GitLab软件源镜像 3 下载安装GitLab 4 查看管理员root用户默认密码 5 登录GitLab 6 修改密码 7 gitlab相关命令 1 安装必要依赖 sudo yum install -y curl policycoreutils-python openssh-server perl sudo systemctl enable sshd sudo systemctl sta…...
主题教育问题清单及整改措施2023年-主题教育对照六个方面个人剖析材料
无论前方路途多么坎坷，都要保持内心的坚定和勇敢。生活中没有什么不可战胜的困难，只有我们是否愿意去面对和克服。要相信自己的能力，相信自己拥有足够的智慧和力量去应对一切挑战 每一次的努力都不会白费，每一次的奋斗都是在为自己…...
php新手实战：自定义书源下载api
网上有很多第三方小说网站提供小说下载，而下载的过程无非就是搜索书籍，然后找到下载链接点击下载即可。只是类似这种“良心”的小说网站实在是太少。大多数仅支持在线阅读。而如今，我却要利用这种为数不多的“良心”小说站点提供的书源来作为…...
数据结构 - 5（二叉树7000字详解）
一：二叉树的基本概念 1.1树形结构 树是一种非线性的数据结构，它是由n（n>0）个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。 注意&am…...
xshell使用方法（超详细）
一、安装 下载最新版安装即可，不需要做任何配置。 安装完成后输入账号名和邮箱，确认后邮箱会收到一条确认邮件，将里面的链接点开即可免费使用（仅安装后会出现，认证后以后再打开不需要重复操作，如果重新安…...
【数据库系统概论】第三章关系数据库标准语言SQL
选择题会考： 1.数据查询： SELECT：用于选择需要查询的列和行。 FROM：用于指定要查询的表。 WHERE：用于指定查询条件。 GROUP BY：用于按照指定的列对结果进行分组。 HAVING：用于指定分组条件…...
云计算是什么？学习云计算能做什么工作？
很多人经常会问云计算是什么？云计算能干什么？学习云计算能做什么工作？其实我们有很多人并不知道云计算是什么，小知今天来给大家讲讲学习云计算能做什么。 中国的云计算行业目前正处于快速发展阶段，随着互联网和数字化…...
ES6 -- 模块化(CommonJS、AMD、ES Module)
模块模式 将代码拆分成独立的块，然后再将这些块连接起来可以通过模块模式来实现。这种模式背后的思想很简单：把逻辑分块，各自封装，相互独立，每个块自行决定对外暴露什么，同时自行决定引入执行哪些外部代码…...
c# xml 参数读取读取的简单使用
完整使用之测试参数的读取（xml） 保存一个xml文档（如果没有就会生成一个默认的 里面的参数用的是我们默认设置的），之后每次更改里面的某项，然后保存 类似于重新刷新一遍。 这里所用的xml测试参数前面需要加…...
gym原来是这样用的
今天down了一个深度强化学习的程序，但是试来试去总是跑不成功，第一句就出问题了 env gym.make("clusterEnv-v0").unwrapped总是报没有该环境，思想半天，然后发现这是自己写的环境，需要到gym中去注册才能使用…...
百度SEO优化技巧与布局（提升网站排名的5种有效方法）
网站SEO关键词介绍： SEO（SearchEngineOptimization）即搜索引擎优化，是通过一系列技术手段和策略，让网站在搜索引擎中获得更好的排名和流量。关键词是SEO优化的重要组成部分，通过关键词布局合理，…...
文案配音软件哪个好？（适合新手使用）
随着短视频的逐渐普及，视频博主越来越多，所以很多朋友也期待成为视频博主。但是，如果你想成为一个有名的视频博主，你需要在很多层面上比别人做得更好。其中之一就是视频文字的配音。相信大部分人都没有配音的技巧，所以…...
excel映射xml方法
excel映射xml方法 创建xml模板 新建一个文本文件，编写模板并命名为xxx.xml <?xml version"1.0" encoding"UTF-8"?> <root><item ID""><surname></surname><man></man><woman>&…...
2023/10/15
文章目录 1.uniapp之Vue2升Vue3值得注意的几点1.1 页面生命周期的使用1.2 引入资源的方式 2. 浏览器本地存储之Cookie和webStorage3. CSS变量 var()的用法4. CSS之实现线性渐变背景5. 图片无法和文字对齐的正确解决方案6. 使用正则处理接口返回的富文本内的图片7. transition实…...
Linux系统中如何开启和配置OpenGauss数据库的远程连接
文章目录 前言1. Linux 安装 openGauss2. Linux 安装cpolar3. 创建openGauss主节点端口号公网地址4. 远程连接openGauss5. 固定连接TCP公网地址6. 固定地址连接测试 前言 openGauss是一款开源关系型数据库管理系统，采用木兰宽松许可证v2发行。openGauss内核深度融合…...
【Docker】Docker网络及容器间通信详解
目录 背景 默认网络 1、bridge 网络模式 2、host 网络模式 3、none 网络模式 4、container 网络模式 自定义网络 容器间网络通信 IP通信 Docker DNS server Joined容器 前言 本实验通过docker DNS server和joined 容器两种方法实现Docker容器间的通信。Docker容器间…...
TikTok国际版 使用特网科技Bluestacks模拟器安装方法
特网科技Bluestacks模拟器主机 桌面自带Bluestacks模拟器 TikTok国际版Bluestacks模拟器搜索tiktot 登录google应用商店-安装TikTok 安装过程可能需要3-5分钟不等-配置过低可能会导致安装失败，建议升级更高内存。 安装完成-打开 安装成功APP-我的游戏查看 打开国际版…...
【Hello Algorithm】暴力递归到动态规划（四）
动态规划的数组压缩技巧 - 机器人走格子问题 题目是leetcode62题目原题 表示如下 一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中…...
arm day 8
arm 写一段按键中断代码 main.c #include "uart.h" #include "key_it.h" int main() {char c;char *s;uart4_init();//串口初始化//中断初始化key_it_config();while(1){//保证主程序不结束}return 0; } src/key_it.c #include"key_it.h"voi…...
Vue记事本应用实现教程
文章目录 1. 项目介绍2. 开发环境准备3. 设计应用界面4. 创建Vue实例和数据模型5. 实现记事本功能5.1 添加新记事项5.2 删除记事项5.3 清空所有记事 6. 添加样式7. 功能扩展：显示创建时间8. 功能扩展：记事项搜索9. 完整代码10. Vue知识点解析10.1 数据绑…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
django filter 统计数量 按属性去重
在Django中，如果你想要根据某个属性对查询集进行去重并统计数量，你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求： 方法1：使用annotate()和Count 假设你有一个模型Item，并且你想…...
测试markdown--肇兴
day1： 1、去程：7:04 --11:32高铁 高铁右转上售票大厅2楼，穿过候车厅下一楼，上大巴车 ￥10/人 **2、到达：**12点多到达寨子，买门票，美团/抖音：￥78人 3、中饭&a…...
工程地质软件市场：发展现状、趋势与策略建议
一、引言 在工程建设领域，准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具，正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）
可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...
高危文件识别的常用算法：原理、应用与企业场景
高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...
算法笔记2
1.字符串拼接最好用StringBuilder，不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...
10-Oracle 23 ai Vector Search 概述和参数
一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI，使用客户端或是内部自己搭建集成大模型的终端，加速与大型语言模型（LLM）的结合，同时使用检索增强生成（Retrieval Augmented Generation &#…...
服务器--宝塔命令
一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行！ sudo su - 1. CentOS 系统： yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...