当前位置： 首页 > news >正文

数据仓库（2）-认识数仓

news 2025/11/5 22:37:56

1、数据仓库是什么

数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

下图是本文后续要介绍的认识数据仓库的相关内容。
在这里插入图片描述

2、大数据相关岗位

大数据相关岗位包括数据仓库，数据平台，数据分析，数据产品。各自职能不同，本文重点介绍数据仓库相关。

2.1数据仓库技术分组

数据仓库作为大数据相关技术栈之一，相关岗位和工作内容可见如下：数据仓库按照技术能力划分，分为离线开发组，实时开发组，数据治理组，数据安全组。
在这里插入图片描述

离线开发组
在这里插入图片描述

实时开发组
在这里插入图片描述

数据治理组
在这里插入图片描述

数据安全组
在这里插入图片描述

3、数据仓库在大数据生态中的定位

数据仓库在大数据生态中定位：承接各种数据源，**通过采（对数据源数据采集）、建（数据资产/模型建设）、管（数据管理、数据服务）、用（如何利用数据为下游创造更多应用价值分析）**的方式实现下游需求内容为数据分析、运营、风控等业务提供数据支撑.

4、数据仓库变化历史

数据仓库演变可以分为3个时代，从2000-2013是1.0时代，从2013到现在是2.0时代（仍有很多公司使用），从2016到现在也是3.0时代。
在这里插入图片描述
1.0时代
在这里插入图片描述
2.0时代
在这里插入图片描述
3.0时代
在这里插入图片描述

5、数据仓库建设版图

在这里插入图片描述

6、数据仓库组件及架构

组件，如下图
在这里插入图片描述

架构-Lambda架构
在这里插入图片描述
架构-Kappa架构
在这里插入图片描述
图1中的1.2和1.7内容，本文不做介绍

相关文章：

数据仓库（2）-认识数仓

1、数据仓库是什么 数据仓库 ，由数据仓库之父比尔恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做…...

编程日记 2024/1/14 5:26:03

C#编程-实现委托

实现委托 委托是可以存储对方法的引用的对象。在C#中，委托允许您动态地改变类中方法的引用。 考虑咖啡售货机的示例，它配置不同口味的咖啡，例如卡布奇诺咖啡和黑咖啡。在选择所需口味的咖啡时，售货机决定混合各种成分，例如奶粉、咖啡粉、热水、卡布奇诺咖啡粉。所有的材…...

编程日记 2024/1/14 5:25:02

Ubuntu18.04 Qt 实现MQTT

什么是MQTT？ 作用是什么（适用场景）？ 与其他通讯协议相比，优缺点在那里？ 一.安装 MQTT 服务器 使用 EMQ X（开源且可视化管理） 下载 EMQX 下载的是 emqx-5.0.26-ubuntu18.04-…...

编程日记 2024/1/14 5:24:01

【软件测试】学习笔记-不同视角的软件性能与性能指标

本篇文章探讨新的测试主题：性能测试，因为性能测试的专业性很强，所以我会以从0到1的入门者视角，系统性地阐述性能测试的方法以及应用领域，用实例去诠释各种性能指标。 本篇文章站在全局的视角，帮你梳理软件性…...

编程日记 2024/1/14 5:23:00

Spring MVC组件

1.DispatcherServlet前端控制器 用户请求到达前端控制器，它就相当于mvc模式中的c，dispatcherServlet 是整个流程控制的中心，由它调用其它组件处理用户的请求，dispatcherServlet 的存在降低了组件之间的耦合性。 2.HandlerMappin…...

编程日记 2024/1/14 5:20:58

vue文件在＜template＞中使用多个＜el-main＞报错（已解决）

目录 1.原理 2. 根据你的需求，自定义每个 组件的内容。你可以在 标签内部插入文本、其他组件、样式等。 3. 根据需要添加样式或其他属性到每个 组件。你可以使用 class、style 或其他属性来自定义每个组件的外观和行为。 4.一个可以运行的总代码如下 5.我的一…...

编程日记 2024/1/14 5:19:57

【PlantUML】- 时序图

写在前面 本篇文章，我们来介绍一下PlantUML的时序图。这个相对类图来讲，比较简单，也不需要布局。读完文章，相信你就能实际操作了。 目录 写在前面一、基本概念二、具体步骤1.环境说明2.元素3.语法4.示例 三、参考资料写在后面系列…...

编程日记 2024/1/14 5:18:57

openai自定义API操作 API （openai.custom）：OpenAI API 实现电商平台的智能库存管理

在电商行业中，库存管理是至关重要的环节之一。一个高效的库存管理系统可以确保商品的正常供应，避免缺货或积压现象，从而提高销售效率和客户满意度。然而，传统的库存管理方式往往存在一些问题，如数据不准确、响应不及时…...

编程日记 2024/1/14 5:17:55

宠物服务新篇章：预约小程序带来的变革

随着科技的进步和互联网的普及，小程序已经成为了一种非常受欢迎的应用形式。对于宠物门店来说，开发一个预约小程序可以大大提高客户体验和管理效率。下面是一份宠物门店预约小程序的开发指南。 浏览器搜索乔拓云，登录乔拓云网后台&#xff0c…...

编程日记 2024/1/14 5:16:54

谷歌最新医学领域LLM大模型：AMIE

2024年1月11日Google 研究院发布最新医疗大模型AMIE：用于诊断医学推理和对话的研究人工智能系统。 文章链接：Articulate Medical Intelligence Explorer (AMIE) giuthub：目前代码未开源 关于大模型之前有过一篇总结：大语言模型(L…...

编程日记 2024/1/14 5:15:53

路由器02_静态路由DHCP

一、静态路由 １、静态路由特点 由管理员手工配置，是单向的，缺乏灵活性 ２、默认路由 默认路由是一种比较特殊静态路由，一般用于末节（末梢）网络，直接指定目标为任何地方 二、静态…...

编程日记 2024/1/14 5:12:50

Mysql 递归查询所有子节点，hutool树形结构封装

工作中经常会有像目录，部门的多级结构，记录一下查询自己点的方式，留着复制粘贴 方式1： SELECT* FROMcus_department WHEREFIND_IN_SET( id, pid ) > 0;UNIONSELECTcd.* FROM( SELECT * FROM cus_department WHERE pid IS …...

编程日记 2024/1/14 5:10:49

【代码随想录04】24. 两两交换链表中的节点 19. 删除链表的倒数第 N 个结点 面试题 02.07. 链表相交 142. 环形链表 II

24. 两两交换链表中的节点 题目描述 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 做题思路 可以设置虚拟头结点cur和画图…...

编程日记 2024/1/14 5:08:46

Pandas实战100例 | 案例 25: 计算相关系数

案例 25: 计算相关系数 知识点讲解 在统计分析中，了解变量之间的关系是非常重要的。相关系数是衡量变量之间线性相关程度的一种方法。Pandas 提供了 corr 方法来计算列之间的相关系数。 相关系数: 相关系数的值范围在 -1 到 1 之间。接近 1 表示正相关&#xff0…...

编程日记 2024/1/14 5:07:45

vue文本识别“\n“换行问题的解决方式

一、通过 css属性 实现 设置 white-space: pre-wrap; 代码如下&#xff1a; <div style"white-space: pre-wrap;">({含有\n的字符串}}</div> 扩展&#xff1a; white-space属性值&#xff1a; 值描述normal默认。空白会被浏览器忽略。pre空白会被浏…...

编程日记 2024/1/14 5:05:43

【QT-UI】

1.使用手动连接&#xff0c;将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中&#xff0c;在自定义的槽函数中调用关闭函数 #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent): QMainWindow(parent), …...

编程日记 2024/1/14 5:03:42

MyBatisPlus逆向工程

依赖 <!--Mybatis-plus逆向生成器依赖--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-generator</artifactId><version>3.4.1</version></dependency><!--Mybatis-plus逆向生成器的Freema…...

编程日记 2024/1/14 5:00:40

创建ESP32开源WiFi MAC(介质访问控制)层

内置WiFi 内置的 WiFi.h 库将使我们能够轻松使用 ESP32 板的 WiFi 功能。 连接到 Wi-Fi 接入点&#xff1a; #include <WiFi.h>const char* ssid "yourNetworkName"; const char* password "yourNetworkPassword";void setup(){Serial.begin(11…...

编程日记 2024/1/14 4:57:37

LeetCode 2723. 两个 Promise 对象相加

给定两个 promise 对象 promise1 和 promise2&#xff0c;返回一个新的 promise。promise1 和 promise2 都会被解析为一个数字。返回的 Promise 应该解析为这两个数字的和。 示例 1&#xff1a; 输入&#xff1a; promise1 new Promise(resolve > setTimeout(() > res…...

编程日记 2024/1/14 4:54:34

Flutter--常用技术文档

配置 清华大学flutter镜像 export PUB_HOSTED_URLhttps://mirrors.tuna.tsinghua.edu.cn/dart-pub export FLUTTER_STORAGE_BASE_URLhttps://mirrors.tuna.tsinghua.edu.cn/flutter 社区镜象 export PUB_HOSTED_URLhttps://pub.flutter-io.cn export FLUTTER_STORAGE_BASE_UR…...

编程日记 2024/1/14 4:50:31

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/11/5 10:22:23

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

编程新知 2025/10/30 6:24:43

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2025/11/1 2:50:59

前端开发面试题总结-JavaScript篇(一)

文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包&#xff08;Closure&#xff09;&#xff1f;闭包有什么应用场景和潜在问题&#xff1f;2.解释 JavaScript 的作用域链&#xff08;Scope Chain&#xff09; 二、原型与继承3.原型链是什么&#xff1f;如何实现继承&a…...

编程新知 2025/10/30 5:57:55

深入解析C++中的extern关键字：跨文件共享变量与函数的终极指南

&#x1f680; C extern 关键字深度解析&#xff1a;跨文件编程的终极指南 &#x1f4c5; 更新时间&#xff1a;2025年6月5日 &#x1f3f7;️ 标签&#xff1a;C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言&#x1f525;一、extern 是什么&#xff1f;&…...

编程新知 2025/10/30 23:46:10

在WSL2的Ubuntu镜像中安装Docker

Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包&#xff1a; for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...

编程新知 2025/10/30 18:34:23

Java 二维码

Java 二维码 **技术&#xff1a;**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/9/6 16:22:45

SAP学习笔记 - 开发26 - 前端Fiori开发 OData V2 和 V4 的差异 (Deepseek整理）

上一章用到了V2 的概念&#xff0c;其实 Fiori当中还有 V4&#xff0c;咱们这一章来总结一下 V2 和 V4。 SAP学习笔记 - 开发25 - 前端Fiori开发 Remote OData Service(使用远端Odata服务)&#xff0c;代理中间件&#xff08;ui5-middleware-simpleproxy&#xff09;-CSDN博客…...

编程新知 2025/11/3 20:51:50

云原生玩法三问：构建自定义开发环境

云原生玩法三问&#xff1a;构建自定义开发环境 引言 临时运维一个古董项目&#xff0c;无文档&#xff0c;无环境&#xff0c;无交接人&#xff0c;俗称三无。 运行设备的环境老&#xff0c;本地环境版本高&#xff0c;ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...

编程新知 2025/11/5 17:01:57

go 里面的指针

指针 在 Go 中&#xff0c;指针&#xff08;pointer&#xff09;是一个变量的内存地址&#xff0c;就像 C 语言那样&#xff1a; a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10&#xff0c;通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...

编程新知 2025/8/18 12:09:07