当前位置： 首页 > news >正文

数据储存与管理【大数据导论】

news 2026/5/30 9:25:26
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

  • 1. 数据储存与管理概念
  • 2. 数据库详解
  • 3. 传统数据储存与管理技术详解
    • 3.1 文件系统
    • 3.2 关系数据库详解
    • 3.3 数据仓库详解
    • 3.4 并行数据库详解

1. 数据储存与管理概念

概念： 利用计算机硬件和软件技术，对数据进行有效的储存和应用，如图1

在这里插入图片描述

图1

储存数据类型：

  • 结构化数据库
  • 半结构化数据库
    • 网页文件
  • 非结构化数据库
    • 图片
    • 视频
    • 音频

在这里插入图片描述

图2

数据储存与管理技术：

传统

  • 文件系统
  • 关系数据库
  • 数据仓库
  • 并行数据库
    在这里插入图片描述
图3

新型

  • 分布式文件系统
  • NewSQL数据库
  • NoSQL数据库
  • 云数据库

在这里插入图片描述

图4

代表性产品

  • HDFS
  • Spanner
  • HBase

在这里插入图片描述

图5

2. 数据库详解

数据库概念： 面向事务，以一定的方式储存在一起，能被多个用户共享，具有尽可能小的冗余度与应用程序彼此独立的应用集合

数据库管理系统：

  • DBMS

在这里插入图片描述

图6

传统数据库：

  • 网状数据库
  • 层状数据库
  • 关系数据库（主流）
    在这里插入图片描述
图7

3. 传统数据储存与管理技术详解

3.1 文件系统

概念： 操作系统用于明确存储设备或分区上文件信息的方法与数据结构

在这里插入图片描述

图8

文件系统的组成：

  • 文件系统的接口
  • 对对象操纵和管理的软件集合
  • 对象及属性

在这里插入图片描述

图9

文件系统功能：

建立、存入、读出、转改、转储、控制文件的存取、销毁文件

在这里插入图片描述

图10

3.2 关系数据库详解

关系数据库 结构化数据概念： 采用关系数据模型来组织、管理数据，可以看成许多关系表（二维表格）的结合
在这里插入图片描述

图11

注意： 结构化的数据都必须提前定好表的名称、字段名称、字段类型和约束等规范化操作

在这里插入图片描述

图12

优点： 数据表的可靠性和稳定性高
缺点： 数据模型不够灵活，一旦存入数据后，进行修改困难
关系数据库常见产品：

  • Oracle
  • SQL Server
  • MySQL
  • DB2
    在这里插入图片描述
图13

关系数据库存储规范：

为了规范数据、减少重复性数据、充分利用存储空间，把数据按照最小的数据表形式存储，采用主外键关系，并且通过连接查询获取数据表之间的相关结果
在这里插入图片描述

图14

关系数据库查询方式：

结构化查询语言（SQL）

  • 高级的非过程化语言，允许用户在高层的数据结构上工作且该语言可以嵌套使用，具有很高的灵活性

在这里插入图片描述

图15

关系数据库连接方式：

统一的数据库连接接口标准ODBC

  • 利用ODBC生产的程序与具体的数据库产品无关，从而数据库用户与开发人员平定不同数据库异构环境的复杂性

在这里插入图片描述

图16

3.3 数据仓库详解

数据仓库概念： 面向主题的、集成的、相对稳定的反映历史变化的数据集合，从而支持管理决策
数据仓库结构：

  • 数据源
  • 数据储存和管理
  • OLAP服务器
  • 前端工具和应用
    在这里插入图片描述
图17

其中数据源
分为内部数据和外部数据
内部：

  • 业务数据+文档数据

在这里插入图片描述

图18

外部：

  • 外部数据
  • 法律法规
  • 市场信息
  • 竞争对手的信息
  • 外部统计数据
  • 其他相关文档

在这里插入图片描述

图19

其中数据存储和管理
对数据进行抽取和转换，并且加载到数据仓库中，并且按照主题进行重新组织，最终确定数据仓库的目的存储结构，同时存储数据结构的原数据（数据字典、记录系统定义、数据转化规则、数据加载频率、业务规则）

在这里插入图片描述

图20

其中OLAP服务器

对需要分析的数据按照多维数据模型进行重组,从而支持用户随时从多角度、多层次分析数据，发现数据规律趋势

在这里插入图片描述

图21

其中前端工具和应用

  • 数据查询工具
  • 自由报表工具
  • 数据分析工具
  • 数据挖掘工具
  • 各类应用系统

在这里插入图片描述

图22

数据库与数据仓库对比

数据库： 面向事务，捕获数据
数据仓库： 面向主题，分析数据

3.4 并行数据库详解

并行数据库概念： 在无共享的体系结构中进行数据操作的数据系统。这些系统大部分采用了关系数据模型，支持进行SQL语句查询
两大关键技术：

  • 关系表的水平划分
  • SQL查询的分区执行

在这里插入图片描述

图23

优点：
高性能和高可靠性，通过多个节点并行数据库任务，提高整个数据库系统的性能和可用性

缺点：
没有较好的弹性，不好进行数据转移
系统容错率较差，一旦节点发生了故障，整个查询都要从头开始执行，只适合资源需求相对固定的程序

4. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强
在这里插入图片描述

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

相关文章：

数据储存与管理【大数据导论】

这里是阿川的博客，祝您变得更强 ✨ 个人主页：在线OJ的阿川 💖文章专栏：大数据入门到进阶 🌏代码仓库： 写在开头 现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论 目录 1…...

编程日记 2025/1/15 14:34:39

《从零到一：搭建高效体育直播网站的全流程技术指南》

搭建一个体育直播网站需要综合考虑技术架构、数据来源、用户体验、安全性等多个层面。从整体到细节，搭建这样一个网站的流程比较复杂，但可以分成几个重要的步骤和技术环节。以下是搭建体育直播网站的技术层面准备全流程： 一、需求分析与规划 …...

编程日记 2025/1/15 14:32:37

松散比较（PHP）（小迪网络安全笔记~

免责声明：本文章仅用于交流学习，因文章内容而产生的任何违法&未授权行为，与文章作者无关！！！ 附：完整笔记目录~ ps：本人小白，笔记均在个人理解基础上整理，…...

编程日记 2025/1/15 14:29:32

一文了解如何使用 DBeaver 管理 DolphinDB

在日常的数据开发、分析和数据库运维中，一款优秀的 IDE 能够极大地提升工作效率。DBEaver 是一款由 Java 编写的一站式跨平台连接器，其社区版本已能支持连接近百种数据库，受到广大开发者的喜爱。近期。DolphinDB 与 DBeaver 团队共同努力&…...

编程日记 2025/1/15 14:28:31

网络基础知识指南|1-20个

1. IP地址: 即互联网协议地址，是用于标识互联网上的每一个设备或节点的唯一地址。IP地址的作用主要是进行网络设备的定位和路由，确保数据包可以从源设备准确地传送到目标设备。2. 子网掩码: 是用于将一个IP地址划分为网络地址和主机地址的工具。它通常与…...

编程日记 2025/1/15 14:27:30

01.09周四F34-Day50打卡

文章目录 1. -我大衣呢? -就在上次你放的地方。2. 这所学校是在曾经的影院上建立起来的。3. 她今天落到这个地步都怪你。4. 留得青山在，不怕没柴烧。(一息尚存，希望不灭。)5. 有善良的地方就有美德，有美德的地方就有奇迹。(《灰姑娘》原句)6. 为了和老外说话时不再发窘，所…...

编程日记 2025/1/15 14:25:25

Linux简介和环境搭建

Linux 介绍和环境搭建 1、发行版本 Linux 操作系统有多个主流发行版本，每个版本根据不同的目标、特点和使用场景为用户提供了不同的功能和体验。 Ubuntu • 特点：Ubuntu 是最为人熟知的 Linux 发行版之一，强调易用性和用户友好性&#xff…...

编程日记 2025/1/15 14:23:22

在移动端开发图表，uniapp+echarts,需要特殊处理，使用renderjs

1.首先要创建一个组件warning，用来装图表（我排除绿色那段代码为我的需求，不是必要代码） <template> <div class="task_container"> <div class="pop_body"> <div class="footer"> <warning…...

编程日记 2025/1/15 14:22:20

SpringBoot之LazyInitializationBeanFactoryPostProcessor类源码学习

源码分析 /**** author Andy Wilkinson* author Madhura Bhave* author Tyler Van Gorder* author Phillip Webb* since 2.2.0* see LazyInitializationExcludeFilter** 主要用于延迟初始化 Bean 的配置。它通过修改 BeanFactory 的配置来确保某些 Bean 在实际需要时才进行初始…...

编程日记 2025/1/15 14:18:10

United States of America三种表示

"United States of America", "United States", 和 "America" 都表示美国&#xff0c;但它们的使用场景和背景略有不同。以下是关于为什么这些名称可以合在一起表示美国的详细解释&#xff1a; 1. "United States of America" 全称&a…...

编程日记 2025/1/15 14:16:05

OpenCV基于均值漂移算法(pyrMeanShiftFiltering)的水彩画特效

1、均值漂移算法原理 pyrMeanShiftFiltering算法结合了均值迁移&#xff08;Mean Shift&#xff09;算法和图像金字塔&#xff08;Image Pyramid&#xff09;的概念&#xff0c;用于图像分割和平滑处理。以下是该算法的详细原理&#xff1a; 1.1 、均值迁移&#xff08;Mean …...

编程日记 2025/1/15 14:10:56

【C++】拷贝构造函数与运算符重载

写在前面 拷贝构造函数、赋值运算符重载、取地址运算符都是属于类的默认成员函数&#xff01; 默认成员函数是程序猿不显示声明定义&#xff0c;编译器会中生成。 在程序编写中&#xff0c;我们也经常使用拷贝的方式来获取到对应的值&#xff0c;例如整形变量拷贝int a 0; i…...

编程日记 2025/1/15 14:09:51

2024年开发语言热度排名

随着技术的不断发展和变化&#xff0c;编程语言的热度也在不断演变。2024年即将到来&#xff0c;我们有必要回顾和展望当前和未来的开发语言市场。本文将基于多个因素&#xff0c;包括行业需求、社区支持、流行度以及新兴趋势&#xff0c;对2024年的开发语言热度进行排名和分析…...

编程日记 2025/1/15 14:07:48

CryptoMamba：利用状态空间模型实现精确的比特币价格预测

“CryptoMamba: Leveraging State Space Models for Accurate Bitcoin Price Prediction” 论文地址&#xff1a;https://arxiv.org/pdf/2501.01010 Github地址&#xff1a;https://github.com/MShahabSepehri/CryptoMamba 摘要 预测比特币价格由于市场的高波动性和复杂的非线…...

编程日记 2025/1/15 14:06:46

MQTTX客户端使用

一、MQTT服务器&#xff08; emqx &#xff09;搭建 (1) 下载服务器MQTT Broker 从https://www.emqx.com/zh/downloads/broker/5.3.0/emqx-5.3.0-windows-amd64.zip下载MQTT Broker。 这里我使用的windows系统&#xff0c;下载对应版本工具&#xff1a;emqx-5.3.0-windows-a…...

编程日记 2025/1/15 14:04:42

网管平台（进阶篇）：路由器的管理实践

在当今数字化时代&#xff0c;路由器作为网络连接的核心设备&#xff0c;其管理对于确保网络的稳定、高效和安全至关重要。本文旨在深入探讨路由器管理的重要性、基本设置步骤、高级功能配置以及日常维护&#xff0c;帮助读者构建一个高效且安全的网络环境。 一、路由器管理的…...

编程日记 2025/1/15 14:01:35

基于微信小程序的智能停车场管理系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…...

编程日记 2025/1/15 13:56:29

【Vue】父组件向子组件传递参数；子组件向父组件触发自定义事件

父组件向子组件传递参数 方法一&#xff1a;props 在 Vue 中&#xff0c;父组件向子组件传递数据主要通过props来实现&#xff0c;以下是具体的步骤&#xff1a; 父组件中传递数据 在父组件中&#xff0c;当需要调用子组件 AddSampleDialog 时&#xff0c;通过 v-bind 或其…...

编程日记 2025/1/15 13:52:25

搜广推校招面经七

抖音推荐算法 一、广告系统中的数据流处理方法&#xff0c;怎么避免延迟回流问题 延迟回流问题是指&#xff0c;实时系统&#xff08;如广告点击预估&#xff09;中&#xff0c;历史数据未及时更新或发生延迟&#xff0c;导致系统的实时预测偏离实际情况。避免延迟回流的方法有…...

编程日记 2025/1/15 13:45:17

Leetcode 518. 零钱兑换 II 动态规划

原题链接&#xff1a;Leetcode 518. 零钱兑换 II 可参考官解&#xff1a;零钱兑换 II 和这个解答&#xff1a;[Java/Python3/C]动态规划&#xff1a;拆分零钱兑换子问题&#xff08;嵌套循环的秘密&#xff09;【图解】 此题需要仔细想象和Leetcode 377. 组合总和 Ⅳ 动态规划…...

编程日记 2025/1/15 13:39:08

无机布防火卷帘门价格怎么算？按尺寸定制，按需报价

无机布防火卷帘门作为建筑防火分区的核心设备&#xff0c;价格一直是工程采购的关注重点。很多用户在询价时&#xff0c;会发现不同厂家的报价差异较大&#xff0c;这是因为无机布防火卷帘门的价格并非按统一单价计算&#xff0c;而是完全根据项目的实际需求定制化核算。 &…...

编程新知 2026/5/26 4:58:26

用Python+OpenCV手把手实现Prewitt边缘检测（附完整代码与效果对比图）

用PythonOpenCV手把手实现Prewitt边缘检测&#xff08;附完整代码与效果对比图&#xff09; 边缘检测是计算机视觉中最基础也最关键的预处理步骤之一。想象一下&#xff0c;当你需要让计算机"看清"一张照片中的物体轮廓时&#xff0c;边缘检测算法就是它的"视觉…...

编程新知 2026/5/26 3:05:52

sudo企业级应用【20260525】001篇

文章目录 一、总体设计思路 1️⃣ 设计原则 2️⃣ 日志策略（重点） 二、10 个真实生产场景（含 sudoers 配置） 🔹 Linux 系统管理（3 个） ✅ 场景 1：基础运维（用户 / 权限） ✅ 场景 2：磁盘与文件系统 ✅ 场景 3：网络与防火墙 🔹 云管理（2 个） ✅ 场景 4：云 CLI …...

编程新知 2026/5/26 1:39:10

如何快速掌握开源UE资产编辑器：UAssetGUI完整配置与实战指南

如何快速掌握开源UE资产编辑器&#xff1a;UAssetGUI完整配置与实战指南 【免费下载链接】UAssetGUI A tool designed for low-level examination and modification of Unreal Engine game assets by hand. 项目地址: https://gitcode.com/gh_mirrors/ua/UAssetGUI UAss…...

编程新知 2026/5/26 1:33:08

贵阳婚礼西服定制攻略：面料、工艺、版型避坑指南

婚礼西装是男士婚礼造型的核心&#xff0c;区别于日常商务正装&#xff0c;婚礼西服更看重版型精致度、面料质感、上身挺拔感以及镜头适配度。在贵阳备婚的新人&#xff0c;大多会放弃成品西装&#xff0c;选择专属定制服务。但本地婚礼西服定制市场参差不齐&#xff0c;很多新…...

编程新知 2026/5/26 1:04:50

毕业设计 yolov11骨折检测医疗辅助系统（源码+论文）

文章目录 0 前言1 项目运行效果2 课题背景2.1 研究背景2.2 国内外研究现状2.3 研究意义 3 设计框架&#xff08;骨折检测系统设计框架说明&#xff09;3.1. 系统架构图3.2. 技术选型3.2.1 核心组件3.2.2 辅助工具 3.3. 核心模块设计3.3.1 YOLO模型训练模块训练流程图关键伪代码…...

编程新知 2026/5/26 0:03:57

别再手动编译了！Matlab一键调用CEC2017测试函数的完整配置指南（附30个函数调用示例）

别再手动编译了&#xff01;Matlab一键调用CEC2017测试函数的完整配置指南&#xff08;附30个函数调用示例&#xff09; 算法研究者们常常需要借助标准测试函数来验证优化算法的性能&#xff0c;而CEC2017测试函数集因其复杂性和多维度的挑战性&#xff0c;成为评估算法鲁棒性的…...

编程新知 2026/5/25 22:42:37

基于ESP8266与MQTT的家庭水压自动控制系统设计与实现

1. 项目概述与核心需求解析家里水压不稳、供水时断时续&#xff0c;这大概是很多朋友都遇到过的烦心事。我所在的城市供水情况就很不理想&#xff0c;为了解决这个问题&#xff0c;我不得不自己动手&#xff0c;搭建了一套基于ESP8266微控制器的家庭水压增压与储水自动控制系统…...

编程新知 2026/5/25 22:42:37

WarcraftHelper终极指南：深度解析魔兽争霸III现代化兼容性解决方案

WarcraftHelper终极指南&#xff1a;深度解析魔兽争霸III现代化兼容性解决方案 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper WarcraftHelper是一款专…...

编程新知 2026/5/25 21:29:49

榨干Codex！OpenAI工程师亲授Codex真正用法

你可能把 Codex 当编程助手用&#xff0c;改改代码&#xff0c;跑跑测试。但它的能力远不止于此。OpenAI 的客户支持工程师 Jason&#xff08;jxnlco&#xff09;告诉你&#xff0c;Codex 其实是一套完整的电脑工作系统&#xff0c;从语音输入到自动化&#xff0c;从浏览器操控…...

编程新知 2026/5/25 21:13:33