当前位置： 首页 > news >正文

数据仓库（2）-认识数仓

news 2026/2/11 0:18:51

1、数据仓库是什么

数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

下图是本文后续要介绍的认识数据仓库的相关内容。
在这里插入图片描述

2、大数据相关岗位

大数据相关岗位包括数据仓库，数据平台，数据分析，数据产品。各自职能不同，本文重点介绍数据仓库相关。

2.1数据仓库技术分组

数据仓库作为大数据相关技术栈之一，相关岗位和工作内容可见如下：数据仓库按照技术能力划分，分为离线开发组，实时开发组，数据治理组，数据安全组。
在这里插入图片描述

离线开发组
在这里插入图片描述

实时开发组
在这里插入图片描述

数据治理组
在这里插入图片描述

数据安全组
在这里插入图片描述

3、数据仓库在大数据生态中的定位

数据仓库在大数据生态中定位：承接各种数据源，**通过采（对数据源数据采集）、建（数据资产/模型建设）、管（数据管理、数据服务）、用（如何利用数据为下游创造更多应用价值分析）**的方式实现下游需求内容为数据分析、运营、风控等业务提供数据支撑.

4、数据仓库变化历史

数据仓库演变可以分为3个时代，从2000-2013是1.0时代，从2013到现在是2.0时代（仍有很多公司使用），从2016到现在也是3.0时代。
在这里插入图片描述
1.0时代
在这里插入图片描述
2.0时代
在这里插入图片描述
3.0时代
在这里插入图片描述

5、数据仓库建设版图

在这里插入图片描述

6、数据仓库组件及架构

组件，如下图
在这里插入图片描述

架构-Lambda架构
在这里插入图片描述
架构-Kappa架构
在这里插入图片描述
图1中的1.2和1.7内容，本文不做介绍

相关文章：

数据仓库（2）-认识数仓

1、数据仓库是什么 数据仓库 ，由数据仓库之父比尔恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做…...

编程日记 2024/1/14 5:26:03

C#编程-实现委托

实现委托 委托是可以存储对方法的引用的对象。在C#中，委托允许您动态地改变类中方法的引用。 考虑咖啡售货机的示例，它配置不同口味的咖啡，例如卡布奇诺咖啡和黑咖啡。在选择所需口味的咖啡时，售货机决定混合各种成分，例如奶粉、咖啡粉、热水、卡布奇诺咖啡粉。所有的材…...

编程日记 2024/1/14 5:25:02

Ubuntu18.04 Qt 实现MQTT

什么是MQTT？ 作用是什么（适用场景）？ 与其他通讯协议相比，优缺点在那里？ 一.安装 MQTT 服务器 使用 EMQ X（开源且可视化管理） 下载 EMQX 下载的是 emqx-5.0.26-ubuntu18.04-…...

编程日记 2024/1/14 5:24:01

【软件测试】学习笔记-不同视角的软件性能与性能指标

本篇文章探讨新的测试主题：性能测试，因为性能测试的专业性很强，所以我会以从0到1的入门者视角，系统性地阐述性能测试的方法以及应用领域，用实例去诠释各种性能指标。 本篇文章站在全局的视角，帮你梳理软件性…...

编程日记 2024/1/14 5:23:00

Spring MVC组件

1.DispatcherServlet前端控制器 用户请求到达前端控制器，它就相当于mvc模式中的c，dispatcherServlet 是整个流程控制的中心，由它调用其它组件处理用户的请求，dispatcherServlet 的存在降低了组件之间的耦合性。 2.HandlerMappin…...

编程日记 2024/1/14 5:20:58

vue文件在＜template＞中使用多个＜el-main＞报错（已解决）

目录 1.原理 2. 根据你的需求，自定义每个 组件的内容。你可以在 标签内部插入文本、其他组件、样式等。 3. 根据需要添加样式或其他属性到每个 组件。你可以使用 class、style 或其他属性来自定义每个组件的外观和行为。 4.一个可以运行的总代码如下 5.我的一…...

编程日记 2024/1/14 5:19:57

【PlantUML】- 时序图

写在前面 本篇文章，我们来介绍一下PlantUML的时序图。这个相对类图来讲，比较简单，也不需要布局。读完文章，相信你就能实际操作了。 目录 写在前面一、基本概念二、具体步骤1.环境说明2.元素3.语法4.示例 三、参考资料写在后面系列…...

编程日记 2024/1/14 5:18:57

openai自定义API操作 API （openai.custom）：OpenAI API 实现电商平台的智能库存管理

在电商行业中，库存管理是至关重要的环节之一。一个高效的库存管理系统可以确保商品的正常供应，避免缺货或积压现象，从而提高销售效率和客户满意度。然而，传统的库存管理方式往往存在一些问题，如数据不准确、响应不及时…...

编程日记 2024/1/14 5:17:55

宠物服务新篇章：预约小程序带来的变革

随着科技的进步和互联网的普及，小程序已经成为了一种非常受欢迎的应用形式。对于宠物门店来说，开发一个预约小程序可以大大提高客户体验和管理效率。下面是一份宠物门店预约小程序的开发指南。 浏览器搜索乔拓云，登录乔拓云网后台&#xff0c…...

编程日记 2024/1/14 5:16:54

谷歌最新医学领域LLM大模型：AMIE

2024年1月11日Google 研究院发布最新医疗大模型AMIE：用于诊断医学推理和对话的研究人工智能系统。 文章链接：Articulate Medical Intelligence Explorer (AMIE) giuthub：目前代码未开源 关于大模型之前有过一篇总结：大语言模型(L…...

编程日记 2024/1/14 5:15:53

路由器02_静态路由DHCP

一、静态路由 １、静态路由特点 由管理员手工配置，是单向的，缺乏灵活性 ２、默认路由 默认路由是一种比较特殊静态路由，一般用于末节（末梢）网络，直接指定目标为任何地方 二、静态…...

编程日记 2024/1/14 5:12:50

Mysql 递归查询所有子节点，hutool树形结构封装

工作中经常会有像目录，部门的多级结构，记录一下查询自己点的方式，留着复制粘贴 方式1： SELECT* FROMcus_department WHEREFIND_IN_SET( id, pid ) > 0;UNIONSELECTcd.* FROM( SELECT * FROM cus_department WHERE pid IS …...

编程日记 2024/1/14 5:10:49

【代码随想录04】24. 两两交换链表中的节点 19. 删除链表的倒数第 N 个结点 面试题 02.07. 链表相交 142. 环形链表 II

24. 两两交换链表中的节点 题目描述 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 做题思路 可以设置虚拟头结点cur和画图…...

编程日记 2024/1/14 5:08:46

Pandas实战100例 | 案例 25: 计算相关系数

案例 25: 计算相关系数 知识点讲解 在统计分析中，了解变量之间的关系是非常重要的。相关系数是衡量变量之间线性相关程度的一种方法。Pandas 提供了 corr 方法来计算列之间的相关系数。 相关系数: 相关系数的值范围在 -1 到 1 之间。接近 1 表示正相关&#xff0…...

编程日记 2024/1/14 5:07:45

vue文本识别“\n“换行问题的解决方式

一、通过 css属性 实现 设置 white-space: pre-wrap; 代码如下&#xff1a; <div style"white-space: pre-wrap;">({含有\n的字符串}}</div> 扩展&#xff1a; white-space属性值&#xff1a; 值描述normal默认。空白会被浏览器忽略。pre空白会被浏…...

编程日记 2024/1/14 5:05:43

【QT-UI】

1.使用手动连接&#xff0c;将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中&#xff0c;在自定义的槽函数中调用关闭函数 #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent): QMainWindow(parent), …...

编程日记 2024/1/14 5:03:42

MyBatisPlus逆向工程

依赖 <!--Mybatis-plus逆向生成器依赖--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-generator</artifactId><version>3.4.1</version></dependency><!--Mybatis-plus逆向生成器的Freema…...

编程日记 2024/1/14 5:00:40

创建ESP32开源WiFi MAC(介质访问控制)层

内置WiFi 内置的 WiFi.h 库将使我们能够轻松使用 ESP32 板的 WiFi 功能。 连接到 Wi-Fi 接入点&#xff1a; #include <WiFi.h>const char* ssid "yourNetworkName"; const char* password "yourNetworkPassword";void setup(){Serial.begin(11…...

编程日记 2024/1/14 4:57:37

LeetCode 2723. 两个 Promise 对象相加

给定两个 promise 对象 promise1 和 promise2&#xff0c;返回一个新的 promise。promise1 和 promise2 都会被解析为一个数字。返回的 Promise 应该解析为这两个数字的和。 示例 1&#xff1a; 输入&#xff1a; promise1 new Promise(resolve > setTimeout(() > res…...

编程日记 2024/1/14 4:54:34

Flutter--常用技术文档

配置 清华大学flutter镜像 export PUB_HOSTED_URLhttps://mirrors.tuna.tsinghua.edu.cn/dart-pub export FLUTTER_STORAGE_BASE_URLhttps://mirrors.tuna.tsinghua.edu.cn/flutter 社区镜象 export PUB_HOSTED_URLhttps://pub.flutter-io.cn export FLUTTER_STORAGE_BASE_UR…...

编程日记 2024/1/14 4:50:31

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

编程新知 2026/2/9 16:57:53

idea大量爆红问题解决

问题描述 在学习和工作中&#xff0c;idea是程序员不可缺少的一个工具&#xff0c;但是突然在有些时候就会出现大量爆红的问题&#xff0c;发现无法跳转&#xff0c;无论是关机重启或者是替换root都无法解决 就是如上所展示的问题&#xff0c;但是程序依然可以启动。 问题解决…...

编程新知 2026/2/8 6:37:38

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动&#xff08;如演唱会、马拉松赛事、高考中考等&#xff09;期间&#xff0c;城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例&#xff0c;暖城商圈曾因观众集中离场导致周边…...

编程新知 2026/1/23 7:15:40

系统设计 --- MongoDB亿级数据查询优化策略

系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log&#xff0c;共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题&#xff0c;不能使用ELK只能使用…...

编程新知 2026/1/4 3:47:09

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

编程新知 2026/1/31 11:58:35

NFT模式：数字资产确权与链游经济系统构建

NFT模式&#xff1a;数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新&#xff1a;构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议&#xff1a;基于LayerZero协议实现以太坊、Solana等公链资产互通&#xff0c;通过零知…...

编程新知 2026/1/31 23:23:23

mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...

编程新知 2026/2/4 16:17:25

C++.OpenGL （20/64）混合（Blending）

混合（Blending） 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...

编程新知 2026/1/20 5:33:17

三分算法与DeepSeek辅助证明是单峰函数

前置 单峰函数有唯一的最大值&#xff0c;最大值左侧的数值严格单调递增&#xff0c;最大值右侧的数值严格单调递减。 单谷函数有唯一的最小值&#xff0c;最小值左侧的数值严格单调递减&#xff0c;最小值右侧的数值严格单调递增。 三分的本质 三分和二分一样都是通过不断缩…...

编程新知 2026/1/31 2:50:32

redis和redission的区别

Redis 和 Redisson 是两个密切相关但又本质不同的技术&#xff0c;它们扮演着完全不同的角色&#xff1a; Redis: 内存数据库/数据结构存储 本质&#xff1a; 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能&#xff1a; 提供丰…...

编程新知 2025/11/6 1:34:07