当前位置： 首页 > news >正文

数据仓库【2】：架构

news 2026/2/11 1:56:18

数据仓库【2】：架构

  • 1、架构图
  • 2、ETL流程
    • 2.1、ETL -- Extract-Transform-Load
      • 2.1.1、数据抽取（Extraction）
      • 2.1.2、数据转换（Transformation）
      • 2.1.3、数据加载（ Loading ）
    • 2.2、ETL工具
      • 2.2.1、结构化数据ETL工具
      • 2.2.1、非|半结构化数据ETL工具
  • 3、数据积存
    • 3.1、操作数据层（ODS）
  • 4、数据分析
    • 4.1、数据明细层（DWD）
    • 4.2、数据汇总层（DWS）
    • 4.3、数据应用层（ADS）

1、架构图

在这里插入图片描述

2、ETL流程

2.1、ETL – Extract-Transform-Load

  • 将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程
  • 构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先
    定义好的数据仓库模型，将数据加载到数据仓库中去
  • ETL 规则的设计和实施约占整个数据仓库搭建工作量的 60%～80%
    在这里插入图片描述

2.1.1、数据抽取（Extraction）

  • 抽取的数据源可以分为结构化数据、非结构化数据、半结构化数据
  • 结构化数据一般采用JDBC、数据库日志方式，非|半结构化数据会监听文件变动
    抽取方式
    • 数据抽取方式有全量同步、增量同步两种方式
    • 全量同步会将全部数据进行抽取，一般用于初始化数据装载
    • 增量同步方式会检测数据的变动，抽取发生变动的数据，一般用于数据更新

2.1.2、数据转换（Transformation）

  • 数据转换要经历数据清洗和转换两个阶段
    • 数据清洗主要是对出现的重复、二义性、不完整、违反业务或逻辑规则等问题的数据进行统一的处理
    • 数据转换主要是对数据进行标准化处理，进行字段、数据类型、数据定义的转换
  • 结构化数据在转换过程中的逻辑较为简单，非 | 半结构化数据的转换会较为复杂

2.1.3、数据加载（ Loading ）

  • 将最后处理完的数据导入到对应的目标源里

2.2、ETL工具

2.2.1、结构化数据ETL工具

  • Sqoop
  • Kettle
  • Datastage
  • Informatica
  • Kafka

2.2.1、非|半结构化数据ETL工具

  • Flume
  • Logstash

3、数据积存

3.1、操作数据层（ODS）

  • 数据与原业务数据保持一致，可以增加字段用来进行数据管理

  • 存储的历史数据是只读的，提供业务系统查询使用

  • 业务系统对历史数据完成修改后，将update_type字段更新为UPDATE，追加回ODS中
    在这里插入图片描述

  • 在离线数仓中，业务数据定期通过ETL流程导入到ODS中，导入方式有全量、增量两种

    • 全量导入：数据第一次导入时，选择此种方式
    • 增量导入：数据非第一次导入，每次只需要导入新增、更改的数据，建议使用外连接&全覆盖方式

4、数据分析

4.1、数据明细层（DWD）

  • 数据明细层对ODS层的数据进行清洗、标准化、维度退化（时间、分类、地域）
  • 数据仍然满足3NF模型，为分析运算做准备
    在这里插入图片描述

4.2、数据汇总层（DWS）

  • 数据汇总层的数据对数据明细层的数据，按照分析主题进行计算汇总，存放便于分析的宽表
  • 存储模型并非3NF，而是注重数据聚合，复杂查询、处理性能更优的数仓模型，如维度模型
    在这里插入图片描述

4.3、数据应用层（ADS）

  • 数据应用层也被称为数据集市
  • 存储数据分析结果，为不同业务场景提供接口，减轻数据仓库的负担
    • 数据仓库擅长数据分析，直接开放业务查询接口，会加重其负担
      在这里插入图片描述

相关文章：

数据仓库【2】：架构

数据仓库【2】：架构 1、架构图2、ETL流程2.1、ETL -- Extract-Transform-Load2.1.1、数据抽取（Extraction）2.1.2、数据转换（Transformation）2.1.3、数据加载（ Loading ） 2.2、ETL工具2.2.1、结构…...

编程日记 2023/12/26 3:11:10

JavaScript函数表达式

JavaScript函数表达式是一种将函数赋值给变量的方式。函数表达式可以以匿名形式或具名形式存在。 匿名函数表达式： var func function() {// 函数的逻辑 }在上面的例子中，将一个匿名函数赋值给变量func。 具名函数表达式： var func fun…...

编程日记 2023/12/26 3:09:09

LabVIEW在齿轮箱故障诊断中的应用

LabVIEW在齿轮箱故障诊断中的应用 在现代机械工业中，齿轮箱作为重要的传动设备，其性能稳定性对整体机械系统的运行至关重要。故障的及时诊断和处理不仅保障了设备的稳定运行，还减少了维护成本。利用LabVIEW强大数据处理和仿真能力&#xff0…...

编程日记 2023/12/26 3:05:04

图片转excel：“保留数字格式”在什么场景下该勾

保留数字格式是什么意思呢？顾名思义，就是将转出来的数字保留为数字格式，而不是文本格式。我们知道，OCR程序将图片上的文字识别为电脑可编辑的文字后，如果导入到excel不加处理，则单个数字过长的文字就会被ex…...

编程日记 2023/12/26 3:04:03

SpringMVC：整合 SSM 下篇

文章目录 SpringMVC - 05整合 SSM 下篇一、设计页面1. 首页：index.jsp2. 展示书页面：showBooks.jsp3. 增加书页面：addBook.jsp4. 修改书页面：updateBook.jsp5. 总结 二、控制层1. 查询全部书2. 增加书3. 修改书4. 删除书5. 搜索书…...

编程日记 2023/12/26 3:01:00

[2023-年度总结]凡是过往,皆为序章

原创/朱季谦 2023年12月初，傍晚，在深圳的小南山看了一场落日。 那晚我们坐在山顶的草地上，拍下了这张照片——仿佛在秋天的枝头上，结出一颗红透的夕阳。 这一天很快就会随着夜幕的降临，化作记忆的碎片，然…...

编程日记 2023/12/26 2:59:59

OpenCV之像素操作

我们首先了解一下什么是像素，计算机中是如何存储图像，以及opencv是如何表示图像的。 像素： 像素是指由图像的小方格即所谓的像素(pixel)组成的，这些小方块都有一个明确的位置和被分配的色彩数值，而这些一小方格的颜色…...

编程日记 2023/12/26 2:57:56

Transfer Learning（迁移学习）

1. 什么是迁移学习 迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都…...

编程日记 2023/12/26 2:56:55

NPM 的使用技巧：简化 JavaScript 开发和依赖管理

前言 NPM（Node Package Manager）是 JavaScript 生态系统中最流行的包管理工具之一。本文将介绍一些有用的 NPM 使用技巧，帮助开发者更好地利用 NPM 管理项目依赖、执行脚本、发布自己的包以及解决常见问题。 1. 初始化项目 使用 NPM 初始化…...

编程日记 2023/12/26 2:53:52

统计和绘图软件GraphPad Prism mac功能特点

GraphPad Prism mac是一款专业的统计和绘图软件，主要用于生物医学研究、实验设计和数据分析。 GraphPad Prism mac功能和特点 数据导入和整理：GraphPad Prism 可以导入各种数据格式，并提供直观的界面用于整理、编辑和管理数据。用户可以轻松…...

编程日记 2023/12/26 2:52:51

WWW 指南-万维网联盟(World Wide Web)

WWW - 万维网联盟 WWW通常称为网络。 web是一个世界各地的计算机网络。 电脑在Web上使用标准语言沟通。 万维网联盟（W3C）制定了Web标准 什么是WWW？ WWW 代表 World Wide Web(万维网)万维网常常被称为 网络网络是世界各地的计算机网络网络中…...

编程日记 2023/12/26 2:50:49

Linux网络编程之TCP/IP实现高并发网络服务器设计指南

目录 引言： 多进程服务器 例程分享： 多线程服务器 例程分享： I/O多路复用服务器 select 例程分享： poll 例程分享： epoll 例程分享： 总结建议 引言： 随着互联网的迅猛发展&#xff…...

编程日记 2023/12/26 2:48:47

【SpringBoot实战】基于阿里云实现文件上传

【SpringBoot实战】基于阿里云实现文件上传 在实际项目开发中&#xff0c;不可避免地会使用到阿里云OSS进行文件存储。尽管阿里云有详细的开发文档&#xff0c;但本篇博客的目的是让我们能够用简明的代码快速实现这个功能。 引入依赖 <dependencies><!-- 阿里云oss…...

编程日记 2023/12/26 2:45:44

大数据技术学习笔记（十一）—— Flume

目录 1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构 2 Flume 安装3 Flume 入门案例3.1 监控端口数据3.2 实时监控单个追加文件3.3 实时监控目录下多个新文件3.4 实时监控目录下的多个追加文件 4 Flume 进阶4.1 Flume 事务4.2 Flume Agent 内部原理4.3 Flume 拓扑结构4.3.1 简单…...

编程日记 2023/12/26 2:43:42

电路设计时，继电器线圈、风扇电机绕组等感性负载必须有续流二极管。

续流二极管（也常被称为“自由轮流二极管”或“反向并联二极管”）在感性负载电路中的应用非常重要，尤其是在继电器线圈、风扇电机绕组等设备中。感性负载是指那些在其线圈中会产生感应电动势的负载，例如电动机、变压器和继电器等。当这些设备的电源被切断时，它们的线圈会因…...

编程日记 2023/12/26 2:41:41

Mongodb基础介绍与应用场景

NoSql 解决方案第二种 Mongodb MongoDB 是一款开源 高性能 无模式的文档型数据库 当然 它是NoSql数据库中的一种 是最像关系型数据库的 非关系型数据库 首先 最需要注意的是 无模式的文档型数据库 这个需要后面我们看到它的数据才能明白 其次是 最像关系型数据库的非关系型数据…...

编程日记 2023/12/26 2:37:34

mysql参数配置binlog

官网地址&#xff1a; MySQL :: MySQL Replication :: 2.6.4 Binary Logging Options and Variables 欢迎关注留言&#xff0c;我是收集整理小能手&#xff0c;工具翻译&#xff0c;仅供参考&#xff0c;笔芯笔芯. MySQL 复制 / ... / 二进制日志记录选项和变量 2.6.4 二进…...

编程日记 2023/12/26 2:35:32

pytorch常用的几个函数详解

文章目录 view基本用法自动计算维度保持原始数据不变 t函数功能语法返回值示例注意事项 permute() 函数基本概念permute() 函数的使用 unsqueeze() 函数基本概念unsqueeze() 函数的使用 squeeze() 函数基本概念squeeze() 函数的使用 transpose() 函数基本概念transpose() 函数的…...

编程日记 2023/12/26 2:34:31

Linux下安装Flume

1 下载Flume Welcome to Apache Flume — Apache Flume 下载1.9.0版本 2 上传服务器并解压安装 3 删除lib目录下的guava-11.0.2.jar &#xff08;如同服务器安装了hadoop&#xff0c;则删除&#xff0c;如没有安装hadoop则保留这个文件&#xff0c;否则无法启动flume&#…...

编程日记 2023/12/26 2:33:30

20231225使用BLE-AnalyzerPro WCH升级版BLE-PRO蓝牙分析仪抓取BLE广播数据

20231225使用BLE-AnalyzerPro WCH升级版BLE-PRO蓝牙分析仪抓取BLE广播数据 2023/12/25 20:05 结论&#xff1a;硬件蓝牙分析仪 不一定比 手机端的APK的效果好&#xff01; 亿佰特E104-2G4U04A需要3片【单通道】&#xff0c;电脑端的UI为全英文的。 BLE-AnalyzerPro WCH升级版B…...

编程日记 2023/12/26 2:28:25

树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频

使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源&#xff1a; http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...

编程新知 2025/11/5 13:03:58

如何在看板中体现优先级变化

在看板中有效体现优先级变化的关键措施包括&#xff1a;采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中&#xff0c;设置任务排序规则尤其重要&#xff0c;因为它让看板视觉上直观地体…...

编程新知 2026/1/23 12:42:28

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码&#xff0c;写上注释 当然可以&#xff01;这段代码是 Qt …...

编程新知 2025/11/29 21:00:30

【RockeMQ】第2节｜RocketMQ快速实战以及核⼼概念详解（二）

升级Dledger高可用集群 一、主从架构的不足与Dledger的定位 主从架构缺陷 数据备份依赖Slave节点&#xff0c;但无自动故障转移能力&#xff0c;Master宕机后需人工切换&#xff0c;期间消息可能无法读取。Slave仅存储数据&#xff0c;无法主动升级为Master响应请求&#xff…...

编程新知 2025/9/2 3:37:40

图表类系列各种样式PPT模版分享

图标图表系列PPT模版&#xff0c;柱状图PPT模版&#xff0c;线状图PPT模版&#xff0c;折线图PPT模版&#xff0c;饼状图PPT模版&#xff0c;雷达图PPT模版&#xff0c;树状图PPT模版 图表类系列各种样式PPT模版分享&#xff1a;图表系列PPT模板https://pan.quark.cn/s/20d40aa…...

编程新知 2026/2/4 18:07:02

如何在最短时间内提升打ctf（web)的水平？

刚刚刷完2遍 bugku 的 web 题&#xff0c;前来答题。 每个人对刷题理解是不同&#xff0c;有的人是看了writeup就等于刷了&#xff0c;有的人是收藏了writeup就等于刷了&#xff0c;有的人是跟着writeup做了一遍就等于刷了&#xff0c;还有的人是独立思考做了一遍就等于刷了。…...

编程新知 2026/1/28 5:55:15

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 在 GPU 上对图像执行 均值漂移滤波&#xff08;Mean Shift Filtering&#xff09;&#xff0c;用于图像分割或平滑处理。 该函数将输入图像中的…...

编程新知 2026/2/10 9:20:22

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台

🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型（LLM）的广泛应用，开发者常面临多个挑战： 各大模型（OpenAI、Claude、Gemini、Ollama）接口风格不统一；缺乏一个统一平台进行模型调用与测试；本地模型 Ollama 的集成与前…...

编程新知 2026/1/25 3:31:07

无人机侦测与反制技术的进展与应用

国家电网无人机侦测与反制技术的进展与应用 引言 随着无人机&#xff08;无人驾驶飞行器&#xff0c;UAV&#xff09;技术的快速发展&#xff0c;其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统&#xff0c;无人机的“黑飞”&…...

编程新知 2026/1/26 6:01:03

Golang——6、指针和结构体

指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...

编程新知 2026/1/28 11:35:09