当前位置： 首页 > article >正文

关于数据湖和数据仓的一些概念

article 2025/9/19 13:38:10

一、前言

随着各行业数字化发展的深化，数据资产和数据价值已越来越被深入企业重要发展的战略重心，海量数据已成为多数企业生产实际面临的重要问题，无论存储容量还是成本，可靠性都成为考验企业数据治理的考验。本文来看下海量数据存储的数据湖和数据仓，数据仓库和数据湖，他们都是基于数据进行价值挖掘，只是侧重点不同，下面让我们来认识一下。

在这里插入图片描述
关联资源：TPC-DS V3 Top Performance Results、Delta Lake、databricks文档、iceberg文档、 Apache Hudi

二、数据仓

数据仓库最开始是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，出现于 1990 年代，主要基于 MPP（Massively Parallel Processing，大规模并行处理）或者关系型数据库实现，主要用于查询和分析，帮助企业做数据存储、处理和分析，发展数据看板、BI（商业智能）等，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用数据采集/上报的一些指标等广泛来源。

在这里插入图片描述

数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。同时，随着时间推移，它还会建立一个对于数据科学家和业务分析人员极具价值的历史记录。基于此，数据仓库最终为企业提供一个面向用户的单一信息源，屏蔽了底层的源数据。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

三、数据湖

数据湖（Data Lake）是一个集

相关文章：

关于数据湖和数据仓的一些概念

一、前言 随着各行业数字化发展的深化，数据资产和数据价值已越来越被深入企业重要发展的战略重心，海量数据已成为多数企业生产实际面临的重要问题，无论存储容量还是成本，可靠性都成为考验企业数据治理的考验。本文来看下海量数据存储的数据湖和数据仓，数据仓库和数据湖，…...

编程日记 2025/9/14 5:04:05

鸿蒙OSUniApp制作自定义的下拉菜单组件（鸿蒙系统适配版）#三方框架 #Uniapp

UniApp制作自定义的下拉菜单组件（鸿蒙系统适配版） 前言 在移动应用开发中，下拉菜单是一个常见且实用的交互组件，它能在有限的屏幕空间内展示更多的选项。虽然各种UI框架都提供了下拉菜单组件，但在一些特定场景下&…...

编程日记 2025/9/4 23:32:11

C++面试2——C与C++的关系

C与C++的关系及核心区别的解析 一、哲学与编程范式：代码组织的革命 过程式 vs 多范式混合 C语言是过程式编程的典范，以算法流程为中心，强调“怎么做”（How）。例如，实现链表操作需手动管理节点指针和内存。 C++则是多范式语言，支持面向对象（OOP）、泛型编程（模板）、函…...

编程日记 2025/8/16 15:35:06

常用的Java工具库

1. Collections 首先是 java.util 包下的 Collections 类。这个类主要用于操作集合，我个人非常喜欢使用它。以下是一些常用功能： 1.1 排序 在工作中，经常需要对集合进行排序。让我们看看如何使用 Collections 工具实现升序和降序排列&…...

编程日记 2025/9/14 5:01:53

基于LabVIEW的双音多频系统设计

目录 1 系统设计概述 双音多频（Dual-Tone Multi-Frequency, DTMF）信号是一种广泛应用于电话系统中的音频信号，通过不同的频率组合表示不同的按键。每个按键对应两个频率，一个低频和一个高频，共同组成独特的信号。在虚拟仪器技术快速发展的背景下，利用LabVIEW等图形化编程…...

编程日记 2025/7/4 0:47:03

R S的EMI接收机面板

图片摘自R & S官网。 根据您提供的第一张图（设备前面板带屏幕的图像），这是 Rohde & Schwarz ESRP7 EMI Test Receiver 的正面显示界面，我将对屏幕上显示的参数逐项进行解读： 🖥️ 屏幕参数解读 左…...

编程日记 2025/9/19 5:16:45

[ctfshow web入门] web122

信息收集 这一题把HOME开放了&#xff0c;把#和PWD给过滤了 <?php error_reporting(0); highlight_file(__FILE__); if(isset($_POST[code])){$code$_POST[code];if(!preg_match(/\x09|\x0a|[a-z]|[0-9]|FLAG|PATH|BASH|PWD|HISTIGNORE|HISTFILESIZE|HISTFILE|HISTCMD|US…...

编程日记 2025/9/13 22:52:45

Nginx+Lua 实战避坑：从模块加载失败到版本冲突的深度剖析

Nginx 集成 Lua (通常通过 ngx_http_lua_module 或 OpenResty) 为我们提供了在 Web 服务器层面实现动态逻辑的强大能力。然而，在享受其高性能和灵活性的同时，配置和使用过程中也常常会遇到各种令人头疼的问题。本文将结合实际案例，深入分析在 Nginx+Lua 环境中常见的技术问题…...

编程日记 2025/8/15 1:47:27

LangChain框架-Chain 链详解

摘要 本文基于源码分析与官方文档梳理&#xff0c;系统解析 LangChain 框架中的核心组件 Chain 链&#xff0c;旨在帮助开发者深入理解其设计原理、功能分类及实践应用场景。 作为 LangChain 的核心机制&#xff0c;Chain 链采用管道-过滤器&#xff08;Pipe-Filter&#xff09…...

编程日记 2025/9/15 10:52:44

Java虚拟机 - JVM与Java体系结构

Java虚拟机 JVM与Java体系结构为什么要学习JVMJava与JVM简介Java 语言的核心特性JVM&#xff1a;Java 生态的基石JVM的架构模型基于栈的指令集架构&#xff08;Stack-Based&#xff09;基于寄存器的指令集架构&#xff08;Register-Based&#xff09;JVM生命周期 总结 JVM与Jav…...

编程日记 2025/9/9 14:48:47

elementUI调整滚动条高度后与固定列冲突问题解决

/* 1. 首先确保基础样式生效 */ .el-table.el-table–scrollable-x .el-table__body-wrapper { overflow-x: auto !important; } /* 2. 设置滚动条高度&#xff08;对所有表格生效&#xff09; */ .el-table__body-wrapper::-webkit-scrollbar { height: 10px !important; } …...

编程日记 2025/8/30 21:41:08

基于 nvitop+Prometheus+Grafana 的物理资源与 VLLM 引擎服务监控方案

一、方案背景与目标 在人工智能与高性能计算场景中&#xff0c;对物理资源&#xff08;尤其是 GPU&#xff09;的实时监控以及对 VLLM 引擎服务的性能追踪至关重要。本方案通过整合 nvitop、Prometheus 和 Grafana 三大组件&#xff0c;构建一套完整的监控体系&#xff0c;实现…...

编程日记 2025/9/17 17:19:56

互联网大厂Java求职面试：Spring AI与大模型交互在短视频平台中的应用

互联网大厂Java求职面试&#xff1a;Spring AI与大模型交互在短视频平台中的应用 面试场景设定 郑薪苦&#xff0c;一名有着丰富项目经验但总是能用奇葩比喻解释复杂技术的程序员&#xff0c;正在接受某知名互联网大厂技术总监的面试。 第一轮提问 面试官&#xff1a;假设我…...

编程日记 2025/9/13 18:14:09

【Lua】java 调用redis执行 lua脚本

【Lua】java 调用redis执行 lua脚本 public Object executeLuaScript(String script, List<String> keys, Object... args) {// 注意: 这里 Long.class 是返回值类型, 一定要指定清楚 不然会报错return this.redisTemplate.execute(RedisScript.of(j脚本, Long.class), k…...

编程日记 2025/6/19 18:17:15

【工奥阀门科技有限公司】签约智橙PLM

近日&#xff0c;工奥阀门科技有限公司正式签约了智橙泵阀行业版PLM。 忠于质量&#xff0c;臻于服务&#xff0c;精于研发 工奥阀门科技有限公司&#xff08;以下简称工奥阀门&#xff09;坐落于浙江永嘉&#xff0c;是一家集设计、开发、生产、销售、安装、服务为一体的阀门…...

编程日记 2025/6/3 1:57:14

灌区量测水自动化监测解决方案

一、方案背景 随着社会发展和人口增长&#xff0c;水资源需求不断增大。我国水资源总量虽然丰富&#xff0c;但时空分布不均&#xff0c;加之农业用水占比大且效率偏低&#xff0c;使得水资源短缺问题日益凸显。农业用水一直是我国的耗水大户&#xff0c;占全部耗水总量的60%以…...

编程日记 2025/9/13 21:20:41

SpringBoot整合MQTT实战：基于EMQX构建高可靠物联网通信，从零到一实现设备云端双向对话

一、引言 随着物联网(IoT)技术的快速发展&#xff0c;MQTT(Message Queuing Telemetry Transport)协议因其轻量级、低功耗和高效的特点&#xff0c;已成为物联网设备通信的事实标准。本文将详细介绍如何使用SpringBoot框架整合MQTT协议&#xff0c;基于开源MQTT代理EMQX实现设…...

编程日记 2025/9/16 17:24:00

AI与机器学习深度集成：从设备端能力爆发到开发工具智能化

简介 AI与机器学习技术正以惊人的速度在移动开发领域深入集成，设备端AI能力爆发与AI辅助开发工具的崛起，为开发者带来了前所未有的高效开发体验和应用创新机遇。本文将全面解析Google最新AI技术栈（包括ML Kit 2.0和Gemini Nano模型）的特性与应用场景，探索Android Studio …...

编程日记 2025/7/16 7:09:57

界面控件DevExpress WinForms v24.2 - 数据处理功能增强

DevExpress WinForms拥有180组件和UI库&#xff0c;能为Windows Forms平台创建具有影响力的业务解决方案。DevExpress WinForms能完美构建流畅、美观且易于使用的应用程序&#xff0c;无论是Office风格的界面&#xff0c;还是分析处理大批量的业务数据&#xff0c;它都能轻松胜…...

编程日记 2025/9/14 15:16:38

Linux的MySQL头文件和找不到头文件问题解决

头文件 #include <iostream> #include <mysql_driver.h> #include <mysql_connection.h> #include <cppconn/statement.h> #include <cppconn/resultset.h> #include <cppconn/prepared_statement.h> #include <cppconn/exception.h&g…...

编程日记 2025/9/15 8:26:25

wps excel将表格输出pdf时所有列在一张纸上

记录&#xff1a;wps excel将表格输出pdf时所有列在一张纸上 1&#xff0c;调整缩放比例&#xff0c;或选择将所有列打印在一页 2&#xff0c;将表格的所有铺满到这套虚线...

编程日记 2025/9/9 20:32:21

zabbix7.2最新版本 nginx自定义监控(三) 设置触发器

安装zabbix-get服务 在zabbix-server端口安装zabbix-get服务 [rootlocalhost ~]# dnf install -y zabbix-get Last metadata expiration check: 1:55:49 ago on Wed 14 May 2025 09:24:49 AM CST. Dependencies resolved. Package Architectur…...

编程日记 2025/9/15 11:06:42

CDN加速对云手机延迟的影响

一、CDN加速对云手机延迟的核心作用 缩短物理距离&#xff0c;降低网络延迟 CDN通过全球分布的节点&#xff0c;将云手机的服务内容&#xff08;如应用数据、画面流&#xff09;缓存至离用户最近的服务器&#xff0c;减少数据传输的物理距离。例如&#xff0c;用户在中国访问美…...

编程日记 2025/9/4 12:47:37

为什么 Docker 建议关闭 Swap

在使用 Docker 时&#xff0c;关闭系统 Swap&#xff08;交换分区&#xff09; 是一个常见的推荐做法&#xff0c;尤其是在生产环境中。虽然 Docker 不强制要求禁用 Swap&#xff0c;但出于性能、稳定性、可控性和资源管理的目的&#xff0c;通常建议这样做。 为什么 Docker 建…...

编程日记 2025/7/26 20:54:46

缓存的相关内容

缓存是一种介于数据永久存储介质与数据应用之间数据临时的存储介质 实用化保存可以有效地减少低俗数据读取的次数 (例如磁盘IO), 提高系统性能 缓存不仅可以用于提高永久性存储介质的数据读取效率&#xff0c;还可以提供临时的数据存储空间 spring boot中提供了缓存技术, 方便…...

编程日记 2025/9/15 4:03:25

[ctfshow web入门] web77

信息收集 上一题的读取flag方式不能用了&#xff0c;使用后的回显是&#xff1a;could not find driver 解题 同样的查目录方法 cvar_export(scandir("glob:///*"));die();cforeach(new DirectoryIterator("glob:///*") as $a){echo($a->__toString…...

编程日记 2025/9/15 3:58:02

C++学习-入门到精通-【7】类的深入剖析

C学习-入门到精通-【7】类的深入剖析 类的深入剖析 C学习-入门到精通-【7】类的深入剖析一、Time类的实例研究二、组成和继承三、类的作用域和类成员的访问类作用域和块作用域圆点成员选择运算符(.)和箭头成员选择运算符(->)访问函数和工具函数 四、具有默认实参的构造函数重…...

编程日记 2025/9/14 21:05:01

API 加速方案：如何使用 Redis 与 Memcached 进行高效缓存优化

API 加速方案：如何使用 Redis 与 Memcached 进行高效缓存优化 1. 引言 在现代 Web 开发中，API 响应速度至关重要。用户期望实时访问数据，而后端服务可能受到数据库查询、计算开销或网络传输的限制。这时候，缓存技术可以有效减少 API 延迟，提升系统性能。 本篇文章将深入…...

编程日记 2025/9/5 7:28:56

主成分分析的应用之sklearn.decomposition模块的PCA函数

主成分分析的应用之sklearn.decomposition模块的PCA函数 一、模型建立整体步骤 二、数据 2297.86 589.62 474.74 164.19 290.91 626.21 295.20 199.03 2262.19 571.69 461.25 185.90 337.83 604.78 354.66 198.96 2303.29 589.99 516.21 236.55 403.92 730.05 438.41 225.80 …...

编程日记 2025/9/14 13:25:53

1. Go 语言环境安装

&#x1f451; 博主简介&#xff1a;高级开发工程师 &#x1f463; 出没地点&#xff1a;北京 &#x1f48a; 人生目标&#xff1a;自由 ——————————————————————————————————————————— 版权声明&#xff1a;本文为原创文章&#xf…...

编程日记 2025/9/9 20:31:33