当前位置： 首页 > news >正文

数据仓库（2）-认识数仓

news 文章来源：https://blog.csdn.net/xummgg/article/details/135578403 2025/5/8 7:37:13

1、数据仓库是什么

数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

下图是本文后续要介绍的认识数据仓库的相关内容。
在这里插入图片描述

2、大数据相关岗位

大数据相关岗位包括数据仓库，数据平台，数据分析，数据产品。各自职能不同，本文重点介绍数据仓库相关。

2.1数据仓库技术分组

数据仓库作为大数据相关技术栈之一，相关岗位和工作内容可见如下：数据仓库按照技术能力划分，分为离线开发组，实时开发组，数据治理组，数据安全组。
在这里插入图片描述

离线开发组
在这里插入图片描述

实时开发组
在这里插入图片描述

数据治理组
在这里插入图片描述

数据安全组
在这里插入图片描述

3、数据仓库在大数据生态中的定位

数据仓库在大数据生态中定位：承接各种数据源，**通过采（对数据源数据采集）、建（数据资产/模型建设）、管（数据管理、数据服务）、用（如何利用数据为下游创造更多应用价值分析）**的方式实现下游需求内容为数据分析、运营、风控等业务提供数据支撑.

4、数据仓库变化历史

数据仓库演变可以分为3个时代，从2000-2013是1.0时代，从2013到现在是2.0时代（仍有很多公司使用），从2016到现在也是3.0时代。
在这里插入图片描述
1.0时代
在这里插入图片描述
2.0时代
在这里插入图片描述
3.0时代
在这里插入图片描述

5、数据仓库建设版图

在这里插入图片描述

6、数据仓库组件及架构

组件，如下图
在这里插入图片描述

架构-Lambda架构
在这里插入图片描述
架构-Kappa架构
在这里插入图片描述
图1中的1.2和1.7内容，本文不做介绍

相关文章：

数据仓库（2）-认识数仓

1、数据仓库是什么 数据仓库 ，由数据仓库之父比尔恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做…...

编程日记 2024/1/14 5:26:03

C#编程-实现委托

实现委托 委托是可以存储对方法的引用的对象。在C#中，委托允许您动态地改变类中方法的引用。 考虑咖啡售货机的示例，它配置不同口味的咖啡，例如卡布奇诺咖啡和黑咖啡。在选择所需口味的咖啡时，售货机决定混合各种成分，例如奶粉、咖啡粉、热水、卡布奇诺咖啡粉。所有的材…...

编程日记 2024/1/14 5:25:02

Ubuntu18.04 Qt 实现MQTT

什么是MQTT？ 作用是什么（适用场景）？ 与其他通讯协议相比，优缺点在那里？ 一.安装 MQTT 服务器 使用 EMQ X（开源且可视化管理） 下载 EMQX 下载的是 emqx-5.0.26-ubuntu18.04-…...

编程日记 2024/1/14 5:24:01

【软件测试】学习笔记-不同视角的软件性能与性能指标

本篇文章探讨新的测试主题：性能测试，因为性能测试的专业性很强，所以我会以从0到1的入门者视角，系统性地阐述性能测试的方法以及应用领域，用实例去诠释各种性能指标。 本篇文章站在全局的视角，帮你梳理软件性…...

编程日记 2024/1/14 5:23:00

Spring MVC组件

1.DispatcherServlet前端控制器 用户请求到达前端控制器，它就相当于mvc模式中的c，dispatcherServlet 是整个流程控制的中心，由它调用其它组件处理用户的请求，dispatcherServlet 的存在降低了组件之间的耦合性。 2.HandlerMappin…...

编程日记 2024/1/14 5:20:58

vue文件在＜template＞中使用多个＜el-main＞报错（已解决）

目录 1.原理 2. 根据你的需求，自定义每个 组件的内容。你可以在 标签内部插入文本、其他组件、样式等。 3. 根据需要添加样式或其他属性到每个 组件。你可以使用 class、style 或其他属性来自定义每个组件的外观和行为。 4.一个可以运行的总代码如下 5.我的一…...

编程日记 2024/1/14 5:19:57

【PlantUML】- 时序图

写在前面 本篇文章，我们来介绍一下PlantUML的时序图。这个相对类图来讲，比较简单，也不需要布局。读完文章，相信你就能实际操作了。 目录 写在前面一、基本概念二、具体步骤1.环境说明2.元素3.语法4.示例 三、参考资料写在后面系列…...

编程日记 2024/1/14 5:18:57

openai自定义API操作 API （openai.custom）：OpenAI API 实现电商平台的智能库存管理

在电商行业中，库存管理是至关重要的环节之一。一个高效的库存管理系统可以确保商品的正常供应，避免缺货或积压现象，从而提高销售效率和客户满意度。然而，传统的库存管理方式往往存在一些问题，如数据不准确、响应不及时…...

编程日记 2024/1/14 5:17:55

宠物服务新篇章：预约小程序带来的变革

随着科技的进步和互联网的普及，小程序已经成为了一种非常受欢迎的应用形式。对于宠物门店来说，开发一个预约小程序可以大大提高客户体验和管理效率。下面是一份宠物门店预约小程序的开发指南。 浏览器搜索乔拓云，登录乔拓云网后台&#xff0c…...

编程日记 2024/1/14 5:16:54

谷歌最新医学领域LLM大模型：AMIE

2024年1月11日Google 研究院发布最新医疗大模型AMIE：用于诊断医学推理和对话的研究人工智能系统。 文章链接：Articulate Medical Intelligence Explorer (AMIE) giuthub：目前代码未开源 关于大模型之前有过一篇总结：大语言模型(L…...

编程日记 2024/1/14 5:15:53

路由器02_静态路由DHCP

一、静态路由 １、静态路由特点 由管理员手工配置，是单向的，缺乏灵活性 ２、默认路由 默认路由是一种比较特殊静态路由，一般用于末节（末梢）网络，直接指定目标为任何地方 二、静态…...

编程日记 2024/1/14 5:12:50

Mysql 递归查询所有子节点，hutool树形结构封装

工作中经常会有像目录，部门的多级结构，记录一下查询自己点的方式，留着复制粘贴 方式1： SELECT* FROMcus_department WHEREFIND_IN_SET( id, pid ) > 0;UNIONSELECTcd.* FROM( SELECT * FROM cus_department WHERE pid IS …...

编程日记 2024/1/14 5:10:49

【代码随想录04】24. 两两交换链表中的节点 19. 删除链表的倒数第 N 个结点 面试题 02.07. 链表相交 142. 环形链表 II

24. 两两交换链表中的节点 题目描述 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 做题思路 可以设置虚拟头结点cur和画图…...

编程日记 2024/1/14 5:08:46

Pandas实战100例 | 案例 25: 计算相关系数

案例 25: 计算相关系数 知识点讲解 在统计分析中，了解变量之间的关系是非常重要的。相关系数是衡量变量之间线性相关程度的一种方法。Pandas 提供了 corr 方法来计算列之间的相关系数。 相关系数: 相关系数的值范围在 -1 到 1 之间。接近 1 表示正相关&#xff0…...

编程日记 2024/1/14 5:07:45

vue文本识别“\n“换行问题的解决方式

一、通过 css属性 实现 设置 white-space: pre-wrap; 代码如下&#xff1a; <div style"white-space: pre-wrap;">({含有\n的字符串}}</div> 扩展&#xff1a; white-space属性值&#xff1a; 值描述normal默认。空白会被浏览器忽略。pre空白会被浏…...

编程日记 2024/1/14 5:05:43

【QT-UI】

1.使用手动连接&#xff0c;将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中&#xff0c;在自定义的槽函数中调用关闭函数 #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent): QMainWindow(parent), …...

编程日记 2024/1/14 5:03:42

MyBatisPlus逆向工程

依赖 <!--Mybatis-plus逆向生成器依赖--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-generator</artifactId><version>3.4.1</version></dependency><!--Mybatis-plus逆向生成器的Freema…...

编程日记 2024/1/14 5:00:40

创建ESP32开源WiFi MAC(介质访问控制)层

内置WiFi 内置的 WiFi.h 库将使我们能够轻松使用 ESP32 板的 WiFi 功能。 连接到 Wi-Fi 接入点&#xff1a; #include <WiFi.h>const char* ssid "yourNetworkName"; const char* password "yourNetworkPassword";void setup(){Serial.begin(11…...

编程日记 2024/1/14 4:57:37

LeetCode 2723. 两个 Promise 对象相加

给定两个 promise 对象 promise1 和 promise2&#xff0c;返回一个新的 promise。promise1 和 promise2 都会被解析为一个数字。返回的 Promise 应该解析为这两个数字的和。 示例 1&#xff1a; 输入&#xff1a; promise1 new Promise(resolve > setTimeout(() > res…...

编程日记 2024/1/14 4:54:34

Flutter--常用技术文档

配置 清华大学flutter镜像 export PUB_HOSTED_URLhttps://mirrors.tuna.tsinghua.edu.cn/dart-pub export FLUTTER_STORAGE_BASE_URLhttps://mirrors.tuna.tsinghua.edu.cn/flutter 社区镜象 export PUB_HOSTED_URLhttps://pub.flutter-io.cn export FLUTTER_STORAGE_BASE_UR…...

编程日记 2024/1/14 4:50:31

行分类问题

行分类问题可以应用于多个领域和问题&#xff0c;其中一些示例包括&#xff1a; 文本分类&#xff1a; 在自然语言处理中&#xff0c;可以将文本分为不同的类别&#xff0c;例如情感分析、主题分类等。每个文本可以被视为一个“行”&#xff0c;而分类任务就是对每个行进行分类…...

编程日记 2024/1/14 4:46:27

java常见面试题：如何使用Java进行XML解析和生成？

在Java中&#xff0c;有几种不同的方式可以进行XML的解析和生成。以下是使用Java进行XML解析和生成的基本步骤&#xff1a; 解析XML&#xff1a; DOM (Document Object Model): 这是最常用的解析方法。它将整个XML文档加载到内存中&#xff0c;并允许你通过编程方式遍历和操作它…...

编程日记 2024/1/14 4:45:26

【LabVIEW FPGA入门】LabVIEW FPGA实现I2S解码器

该示例演示了如何使用 LabVIEW FPGA 解码 IS 信号。该代码可用于大多数支持高速数字输入的LabVIEW FPGA 目标&#xff08;例如R 系列、CompactRIO&#xff09;。IS 用于对系统和组件内的数字音频数据进行编码。例如&#xff0c;MP3 播放器或 DVD 播放器内部的数字音频通常使用 …...

编程日记 2024/1/14 4:44:25

linux 安装sipp

sudo apt-get install libnet1-dev libpcap0.8-dev openssl libssl-dev 从 sipp - Browse /sipp/3.2 at SourceForge.net 下载最新版的sipp.svn.tar.gz&#xff0c;解压之后就得到一个rpm文件 tar -zxvf sipp.svn.tar.gz cd sipp make pcapplay_ossl...

编程日记 2024/1/14 4:43:24

c++最值查找

目录 min和max函数 min_element和max_element 例 nth_element函数 例 例题 题目描述 输入描述 输出描述 解 min和max函数 只能传入两个值或一个列表 时间复杂度为O(1),数组O(n)&#xff0c;n为元素个数 min_element和max_element min_element(st,ed)返回地址[st,…...

编程日记 2024/1/14 4:42:23

xtu-c语言考试复习-2

1223 确实写不出&#xff0c;数据远超过64位&#xff0c;难道用数组存吗&#xff0c;但是不好计算&#xff0c;想到的思路是取模&#xff0c;一边计算&#xff0c;一边取模&#xff0c;就不会超过数据范围&#xff0c;但是数学原理没懂&#xff0c;所以做不出来 看了下自己以…...

编程日记 2024/1/14 4:39:21

MySQL决战：MySQL数据导入导出

目录 前言 一.navact数据导入导出&#xff08;第三方工具&#xff09; 1.导入数据 2.数据导出 二. mysqldump命令导入导出数据 1.mysqldump介绍 2.数据导出 3.数据导入 三.load data file进行数据导入导出&#xff08;只限于单表&#xff09; 1.数据导出 增加导出权…...

编程日记 2024/1/14 4:37:19

Unity 面试篇|（二）Unity基础篇 【全面总结 | 持续更新】

目录 1.Unity3d脚本从唤醒到销毁有着一套比较完整的生命周期&#xff0c;列出系统自带的几个重要的方法。2.Unity3D中的碰撞器和触发器的区别&#xff1f;3.物体发生碰撞的必要条件&#xff1f;4.简述Unity3D支持的作为脚本的语言的名称&#xff1f;5. .Net与Mono的关系&#x…...

编程日记 2024/1/14 4:36:18

TIDB的忘了root用户密码和数据库密码解决办法

方法一&#xff1a; 1、修改配置文件重启tidb&#xff0c;无密码登录修改root密码 找到配置文件 tidb.toml &#xff0c;在[security] 作用域下增加如下配置&#xff1a; [security] skip-grant-tabletrue 重启tidb&#xff1a; sh run_tidb.sh 2、重启后&#xff0c;就可以无密…...

编程日记 2024/1/14 4:34:15

QT基础篇（4）QT5基本对话框

1.标准文件对话框类 在QT5中&#xff0c;可以使用QFileDialog类来创建标准文件对话框。QFileDialog类提供了一些方法和属性&#xff0c;用于选择文件和目录。 常用的方法和属性如下&#xff1a; getOpenFileName()&#xff1a;打开文件对话框&#xff0c;选择一个文件。 get…...

编程日记 2024/1/14 4:31:13