数据仓库简介(一)
数据仓库概述
1. 什么是数据仓库?
数据仓库(Data Warehouse,简称 DW)是由 Bill Inmon 于 1990 年提出的一种用于数据分析和挖掘的系统。它的主要目标是通过分析和挖掘数据,为不同层级的决策提供支持,构成商业智能(BI)的一部分。

1.1 数据仓库的目标
数据仓库的核心目标是:
- 分析与挖掘数据:提供决策支持。
- 集中数据存储:从多种来源采集和抽取数据,形成企业数据的全局视图。
- ETL 技术:通过数据抽取、转换和加载(ETL)技术实现数据的统一集成。
1.2 数据仓库的定义
数据仓库是一个:
- 面向主题的:专注于特定的业务主题。
- 集成的:从不同的数据源聚合数据。
- 相对稳定的:数据在装入后一般不可更新,主要用于查询。
- 反映历史变化的:保存历史数据,支持管理决策。

4. 数据仓库的特点
面向主题
数据仓库专注于特定业务领域,仅保留与该主题相关的数据,排除无关细节。
随时间变化
数据仓库能够保存历史数据,支持基于时间变化的分析,通常使用拉链表的方式在保证访问历史快照的同时降低存储空间。
集成的
通过 ETL 操作,将来自不同来源的数据集成到统一的数据仓库中。
数据不可更新
数据仓库的数据在加载后主要进行查询操作,不支持传统数据库的增删改操作,反映的是长时间范围内的历史数据。
5. 数据仓库与关系型数据库区别
| 特性 | 数据仓库 /Hive | 关系型数据库/Mysql,Oracle |
|---|---|---|
| 数据范围 | 历史的/完整的/反映历史变化的数据 | 当前在线交易状态数据 |
| 数据变化 | 可添加/无删除/无更新/反应历史变化 | 支持频繁的增删改查 |
| 应用场景 | BI、支持战略决策 | 面向业务交易/事务流程 |
| 设计理论 | 面向主题设计、违背范式、适当冗余 | 面向事务设计、遵循范式、避免冗余 |
| 处理特点 | 非频繁/大批量/高吞吐/有延迟 | 频繁/小批次/高并发/低延迟 |
| 服务对象 | 分析数据、服务于决策支持 | 捕获数据、服务于业务操作人员 |

相关文章:
数据仓库简介(一)
数据仓库概述 1. 什么是数据仓库? 数据仓库(Data Warehouse,简称 DW)是由 Bill Inmon 于 1990 年提出的一种用于数据分析和挖掘的系统。它的主要目标是通过分析和挖掘数据,为不同层级的决策提供支持,构成…...
Kafka和RabbitMQ区别
RabbitMQ的消息延迟是微秒级,Kafka是毫秒级(1毫秒1000微秒) 延迟消息是指生产者发送消息发送消息后,不能立刻被消费者消费,需要等待指定的时间后才可以被消费。 Kafka的单机呑吐量是十万级,RabbitMQ是万级…...
go-zero学习
go-zero官网: https://go-zero.dev/docs/tasks 好文: https://blog.csdn.net/m0_63629756/article/details/136599547 视频: https://www.bilibili.com/video/BV18JxUeyECg 微服务基础 根目录下,一个文件夹就是一个微服务。如果微…...
python如何查询函数
1、通用的帮助函数help() 使用help()函数来查看函数的帮助信息。 如: import requests help(requests) 会有类似如下输出: 2、查询函数信息 ★查看模块下的所有函数: dir(module_name) #module_name是要查询的函数名 如: i…...
计算机视觉与深度学习 | 从激光雷达数据中提取地面点和非地面点(附matlab代码)
===================================================== github:https://github.com/MichaelBeechan CSDN:https://blog.csdn.net/u011344545 ===================================================== 激光雷达数据 使用velodyneFileReader函数从P...
vulnhub-wakanda 1靶机
vulnhub:wakanda: 1 ~ VulnHub 导入靶机,放在kali同网段,扫描 靶机在192.168.81.5,扫描端口 四个端口,详细扫描一下 似乎没什么值得注意的,先看网站 就这一个页面,点按钮也没反应,扫…...
Bilibili视频如何保存到本地
Bilibili(哔哩哔哩)作为中国领先的视频分享平台之一,汇聚了大量的优质内容,从搞笑动画、综艺节目到专业教程,应有尽有。许多用户时常会遇到这样的需求:希望将视频保存到本地,方便离线观看或者保存珍藏。由于版权保护等…...
C++之多线程
前言 多线程和多进程是并发编程的两个核心概念,它们在现代计算中都非常重要,尤其是在需要处理大量数据、提高程序性能和响应能力的场景中。 多线程的重要性: 资源利用率:多线程可以在单个进程中同时执行多个任务,这可以更有效地利用CPU资源,特别是在多核处理器上。 性…...
《C++音频降噪秘籍:让声音纯净如初》
在音频处理领域,降噪是一项至关重要的任务。无论是录制音乐、语音通话还是音频后期制作,都需要有效地去除背景噪声,以获得清晰、纯净的音频效果。在 C中实现高效的音频降噪处理,可以为音频应用带来更高的质量和更好的用户体验。本…...
C(十)for循环 --- 黑神话情景
前言: "踏过三界宝刹,阅过四洲繁华。笑过五蕴痴缠,舍过六根牵挂。怕什么欲念不休,怕什么浪迹天涯。步履不停,便是得救之法。" 国际惯例,开篇先喝碗鸡汤。 今天,杰哥写的 for 循环相…...
记录一次docker报错无法访问文件夹,权限错误问题
记录一次docker报错无法访问文件夹,权限错误问题 1. 背景 使用docker安装photoview,为其分配了一个cache目录,用户其缓存数据。在运行过程中,扫描文件后显示如下错误 could not make album image cache directory: mkdir /app/c…...
react crash course 2024(8) useEffect
引入 import { useEffect } from react; useEffect – React 中文文档useEffect 是一个 React Hook,它允许你 将组件与外部系统同步。 有些组件需要与网络、某些浏览器 API 或第三方库保持连接,当它们显示在页面上时。这些系统不受 React 控制࿰…...
GEE开发之Modis_NDWI数据分析和获取
GEE开发之Modis_NDWI数据分析和获取 0 数据介绍NDWI介绍MOD09GA介绍 1 NDWI天数据下载2 NDWI月数据下载3 NDWI年数据下载 前言:本文主要介绍Modis下的NDWI数据集的获取。归一化差异水指数 (NDWI) 对植被冠层液态水含量的变化很敏感。它来自近红外波段和第二个红外波…...
netty之NettyClient半包粘包处理、编码解码处理、收发数据方式
前言 Netty开发中,客户端与服务端需要保持同样的;半包粘包处理,编码解码处理、收发数据方式,这样才能保证数据通信正常。在前面NettyServer的章节中我们也同样处理了;半包粘包、编码解码等,为此在本章节我们…...
Linux:文件描述符介绍
文章目录速览 1、虚拟地址空间(1)What(什么是虚拟地址空间)(2)Why(为什么需要虚拟地址空间) 2、文件描述符(1)What(什么是文件描述符)(2)文件描述符表 1、虚拟地址空间 (1)What(什么是虚拟地址…...
stm32f103调试,程序与定时器同步设置
在调试定时器相关代码时,注意到定时器的中断位总是置1,怀疑代码有问题,经过增大定时器的中断时间,发现定时器与代码调试并不同步,这一点对于调试涉及定时器的代码是非常不利的,这里给出keil调试stm32使定时…...
《Python编程:从入门到实践》数据可视化
一、项目 数据可视化学习 二、库依赖 matplotlib,pygal, 三、生成数据 1.绘制简单的折线图 import matplotlib.pyplot as pltsquares [1, 4, 9, 16, 25] plt.plot(squares) plt.show() 模块pyplot包含很多用于生成图表的函数。 (1&am…...
github/git密钥配置与使用
零、前言 因为要在ubuntu上做点东西,发现git clone 的时候必须输账户密码,后来发现密码是token,但是token一大串太烦了,忙了一天发现可以通过配置 公钥 来 替代 http 的 部署方式。 一、生成 ssh 密钥对 我们先测试下能不能 连接…...
BiLSTM模型实现电力数据预测
基础模型见:A020-LSTM模型实现电力数据预测 1. 引言 时间序列预测在电力系统管理、负荷预测和能源优化等领域具有重要意义。传统的单向长短期记忆网络(LSTM)因其在处理时间序列数据中的优势,广泛应用于此类任务。然而࿰…...
VMware ESXi 6.7U3u macOS Unlocker 集成驱动版更新 OEM BIOS 2.7 支持 Windows Server 2025
VMware ESXi 6.7U3u macOS Unlocker & OEM BIOS 2.7 集成 Realtek 网卡驱动和 NVMe 驱动 (集成驱动版) UI fix 此版本解决的问题:VMware Host Client 无法将现有虚拟磁盘 (VMDK) 附加到虚拟机 请访问原文链接:https://sysin.org/blog/vmware-esxi-…...
使用 Taotoken 后 API 调用延迟与稳定性体验分享
🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 使用 Taotoken 后 API 调用延迟与稳定性体验分享 作为一名日常需要频繁调用大模型 API 的开发者,服务的稳定性和响应速…...
Compose-Skill:为Jetpack Compose应用注入AI能力的组件化技能库
1. 项目概述:一个为Compose应用注入AI能力的技能库最近在折腾Jetpack Compose项目时,我一直在想,能不能让UI开发也“智能”一点?比如,用户输入一段模糊的描述,界面就能自动生成对应的组件布局;或…...
基于ETAS RTA-OS的Autosar OS详解(二)—— 调度策略与栈管理的实战权衡
1. 调度策略的实战选择与性能影响 在嵌入式系统开发中,任务调度策略的选择直接影响系统实时性和稳定性。ETAS RTA-OS作为Autosar标准操作系统,提供了三种经典调度策略,每种策略都有其独特的适用场景和性能特征。 1.1 打断式调度的优势与陷阱…...
别再死记硬背GPIO寄存器了!用STM32 HAL库和CubeMX快速实现LED流水灯与按键控制
解放双手:用STM32CubeMX和HAL库玩转GPIO控制 在嵌入式开发的世界里,GPIO控制就像学习编程时的"Hello World"一样基础而重要。但有多少开发者还在为记忆繁琐的寄存器配置而头疼?当项目周期压缩到以天为单位计算时,我们是…...
Nordic nRF52832蓝牙串口实战:手把手教你用SDK 15.3.0实现手机与设备双向通信
Nordic nRF52832蓝牙串口开发实战:从SDK配置到双向通信全解析 在嵌入式蓝牙开发领域,Nordic的nRF52832芯片凭借其优异的射频性能和丰富的外设资源,成为物联网设备开发的明星选择。但对于刚接触这款芯片的开发者来说,如何快速实现手…...
AI驱动的智能监控:从时序异常检测到自动化运维实战
1. 项目概述:AI驱动的系统守护者最近在折腾一个服务器监控项目时,发现了一个挺有意思的开源工具,叫bhusingh/ai-watchdog。这个名字直译过来就是“AI看门狗”,听起来就很有画面感。它本质上是一个利用人工智能技术来监控系统、预测…...
企业微信集成ChatGPT:开源中间件部署与AI助手实战指南
1. 项目概述:一个让企业微信也能“听懂”ChatGPT的桥梁 如果你在企业里负责技术或者运维,大概率会有一个企业微信群,用来接收服务器告警、处理工单或者进行团队协作。当ChatGPT横空出世,展示出强大的对话和问题解决能力时&#x…...
基于RAG的德国开放数据智能问答助手:从原理到工程实践
1. 项目概述:当德国开放数据遇上GPT最近在折腾一个挺有意思的项目,叫 OpenDataGermanyGPT。光看名字,你可能觉得这又是一个“GPT套壳”应用,但实际玩下来,我发现它的核心价值远不止于此。简单来说,这是一个…...
CloudCompare点云标注实战:从数据载入到标签修正的完整指南
1. CloudCompare简介与安装指南 点云数据处理是三维视觉领域的基础工作,而CloudCompare(简称CC)作为一款开源的点云处理软件,凭借其轻量级和丰富的功能,成为许多研究者和工程师的首选工具。我第一次接触这款软件是在处…...
Python异步爬虫框架lightclaw:轻量级高性能Web数据采集实战
1. 项目概述:一个轻量级、高性能的Web爬虫框架最近在做一个需要大规模采集公开网页数据的项目,市面上成熟的爬虫框架很多,像Scrapy、Playwright这些,功能强大但有时候也显得“笨重”。尤其是在处理海量、高并发的简单页面抓取时&a…...
