当前位置： 首页 > news >正文

数据储存与管理【大数据导论】

news 2025/6/12 22:28:14
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

  • 1. 数据储存与管理概念
  • 2. 数据库详解
  • 3. 传统数据储存与管理技术详解
    • 3.1 文件系统
    • 3.2 关系数据库详解
    • 3.3 数据仓库详解
    • 3.4 并行数据库详解

1. 数据储存与管理概念

概念： 利用计算机硬件和软件技术，对数据进行有效的储存和应用，如图1

在这里插入图片描述

图1

储存数据类型：

  • 结构化数据库
  • 半结构化数据库
    • 网页文件
  • 非结构化数据库
    • 图片
    • 视频
    • 音频

在这里插入图片描述

图2

数据储存与管理技术：

传统

  • 文件系统
  • 关系数据库
  • 数据仓库
  • 并行数据库
    在这里插入图片描述
图3

新型

  • 分布式文件系统
  • NewSQL数据库
  • NoSQL数据库
  • 云数据库

在这里插入图片描述

图4

代表性产品

  • HDFS
  • Spanner
  • HBase

在这里插入图片描述

图5

2. 数据库详解

数据库概念： 面向事务，以一定的方式储存在一起，能被多个用户共享，具有尽可能小的冗余度与应用程序彼此独立的应用集合

数据库管理系统：

  • DBMS

在这里插入图片描述

图6

传统数据库：

  • 网状数据库
  • 层状数据库
  • 关系数据库（主流）
    在这里插入图片描述
图7

3. 传统数据储存与管理技术详解

3.1 文件系统

概念： 操作系统用于明确存储设备或分区上文件信息的方法与数据结构

在这里插入图片描述

图8

文件系统的组成：

  • 文件系统的接口
  • 对对象操纵和管理的软件集合
  • 对象及属性

在这里插入图片描述

图9

文件系统功能：

建立、存入、读出、转改、转储、控制文件的存取、销毁文件

在这里插入图片描述

图10

3.2 关系数据库详解

关系数据库 结构化数据概念： 采用关系数据模型来组织、管理数据，可以看成许多关系表（二维表格）的结合
在这里插入图片描述

图11

注意： 结构化的数据都必须提前定好表的名称、字段名称、字段类型和约束等规范化操作

在这里插入图片描述

图12

优点： 数据表的可靠性和稳定性高
缺点： 数据模型不够灵活，一旦存入数据后，进行修改困难
关系数据库常见产品：

  • Oracle
  • SQL Server
  • MySQL
  • DB2
    在这里插入图片描述
图13

关系数据库存储规范：

为了规范数据、减少重复性数据、充分利用存储空间，把数据按照最小的数据表形式存储，采用主外键关系，并且通过连接查询获取数据表之间的相关结果
在这里插入图片描述

图14

关系数据库查询方式：

结构化查询语言（SQL）

  • 高级的非过程化语言，允许用户在高层的数据结构上工作且该语言可以嵌套使用，具有很高的灵活性

在这里插入图片描述

图15

关系数据库连接方式：

统一的数据库连接接口标准ODBC

  • 利用ODBC生产的程序与具体的数据库产品无关，从而数据库用户与开发人员平定不同数据库异构环境的复杂性

在这里插入图片描述

图16

3.3 数据仓库详解

数据仓库概念： 面向主题的、集成的、相对稳定的反映历史变化的数据集合，从而支持管理决策
数据仓库结构：

  • 数据源
  • 数据储存和管理
  • OLAP服务器
  • 前端工具和应用
    在这里插入图片描述
图17

其中数据源
分为内部数据和外部数据
内部：

  • 业务数据+文档数据

在这里插入图片描述

图18

外部：

  • 外部数据
  • 法律法规
  • 市场信息
  • 竞争对手的信息
  • 外部统计数据
  • 其他相关文档

在这里插入图片描述

图19

其中数据存储和管理
对数据进行抽取和转换，并且加载到数据仓库中，并且按照主题进行重新组织，最终确定数据仓库的目的存储结构，同时存储数据结构的原数据（数据字典、记录系统定义、数据转化规则、数据加载频率、业务规则）

在这里插入图片描述

图20

其中OLAP服务器

对需要分析的数据按照多维数据模型进行重组,从而支持用户随时从多角度、多层次分析数据，发现数据规律趋势

在这里插入图片描述

图21

其中前端工具和应用

  • 数据查询工具
  • 自由报表工具
  • 数据分析工具
  • 数据挖掘工具
  • 各类应用系统

在这里插入图片描述

图22

数据库与数据仓库对比

数据库： 面向事务，捕获数据
数据仓库： 面向主题，分析数据

3.4 并行数据库详解

并行数据库概念： 在无共享的体系结构中进行数据操作的数据系统。这些系统大部分采用了关系数据模型，支持进行SQL语句查询
两大关键技术：

  • 关系表的水平划分
  • SQL查询的分区执行

在这里插入图片描述

图23

优点：
高性能和高可靠性，通过多个节点并行数据库任务，提高整个数据库系统的性能和可用性

缺点：
没有较好的弹性，不好进行数据转移
系统容错率较差，一旦节点发生了故障，整个查询都要从头开始执行，只适合资源需求相对固定的程序

4. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强
在这里插入图片描述

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

相关文章：

数据储存与管理【大数据导论】

这里是阿川的博客，祝您变得更强 ✨ 个人主页：在线OJ的阿川 💖文章专栏：大数据入门到进阶 🌏代码仓库： 写在开头 现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论 目录 1…...

编程日记 2025/1/15 14:34:39

《从零到一：搭建高效体育直播网站的全流程技术指南》

搭建一个体育直播网站需要综合考虑技术架构、数据来源、用户体验、安全性等多个层面。从整体到细节，搭建这样一个网站的流程比较复杂，但可以分成几个重要的步骤和技术环节。以下是搭建体育直播网站的技术层面准备全流程： 一、需求分析与规划 …...

编程日记 2025/1/15 14:32:37

松散比较（PHP）（小迪网络安全笔记~

免责声明：本文章仅用于交流学习，因文章内容而产生的任何违法&未授权行为，与文章作者无关！！！ 附：完整笔记目录~ ps：本人小白，笔记均在个人理解基础上整理，…...

编程日记 2025/1/15 14:29:32

一文了解如何使用 DBeaver 管理 DolphinDB

在日常的数据开发、分析和数据库运维中，一款优秀的 IDE 能够极大地提升工作效率。DBEaver 是一款由 Java 编写的一站式跨平台连接器，其社区版本已能支持连接近百种数据库，受到广大开发者的喜爱。近期。DolphinDB 与 DBeaver 团队共同努力&…...

编程日记 2025/1/15 14:28:31

网络基础知识指南|1-20个

1. IP地址: 即互联网协议地址，是用于标识互联网上的每一个设备或节点的唯一地址。IP地址的作用主要是进行网络设备的定位和路由，确保数据包可以从源设备准确地传送到目标设备。2. 子网掩码: 是用于将一个IP地址划分为网络地址和主机地址的工具。它通常与…...

编程日记 2025/1/15 14:27:30

01.09周四F34-Day50打卡

文章目录 1. -我大衣呢? -就在上次你放的地方。2. 这所学校是在曾经的影院上建立起来的。3. 她今天落到这个地步都怪你。4. 留得青山在，不怕没柴烧。(一息尚存，希望不灭。)5. 有善良的地方就有美德，有美德的地方就有奇迹。(《灰姑娘》原句)6. 为了和老外说话时不再发窘，所…...

编程日记 2025/1/15 14:25:25

Linux简介和环境搭建

Linux 介绍和环境搭建 1、发行版本 Linux 操作系统有多个主流发行版本，每个版本根据不同的目标、特点和使用场景为用户提供了不同的功能和体验。 Ubuntu • 特点：Ubuntu 是最为人熟知的 Linux 发行版之一，强调易用性和用户友好性&#xff…...

编程日记 2025/1/15 14:23:22

在移动端开发图表，uniapp+echarts,需要特殊处理，使用renderjs

1.首先要创建一个组件warning，用来装图表（我排除绿色那段代码为我的需求，不是必要代码） <template> <div class="task_container"> <div class="pop_body"> <div class="footer"> <warning…...

编程日记 2025/1/15 14:22:20

SpringBoot之LazyInitializationBeanFactoryPostProcessor类源码学习

源码分析 /**** author Andy Wilkinson* author Madhura Bhave* author Tyler Van Gorder* author Phillip Webb* since 2.2.0* see LazyInitializationExcludeFilter** 主要用于延迟初始化 Bean 的配置。它通过修改 BeanFactory 的配置来确保某些 Bean 在实际需要时才进行初始…...

编程日记 2025/1/15 14:18:10

United States of America三种表示

"United States of America", "United States", 和 "America" 都表示美国&#xff0c;但它们的使用场景和背景略有不同。以下是关于为什么这些名称可以合在一起表示美国的详细解释&#xff1a; 1. "United States of America" 全称&a…...

编程日记 2025/1/15 14:16:05

OpenCV基于均值漂移算法(pyrMeanShiftFiltering)的水彩画特效

1、均值漂移算法原理 pyrMeanShiftFiltering算法结合了均值迁移&#xff08;Mean Shift&#xff09;算法和图像金字塔&#xff08;Image Pyramid&#xff09;的概念&#xff0c;用于图像分割和平滑处理。以下是该算法的详细原理&#xff1a; 1.1 、均值迁移&#xff08;Mean …...

编程日记 2025/1/15 14:10:56

【C++】拷贝构造函数与运算符重载

写在前面 拷贝构造函数、赋值运算符重载、取地址运算符都是属于类的默认成员函数&#xff01; 默认成员函数是程序猿不显示声明定义&#xff0c;编译器会中生成。 在程序编写中&#xff0c;我们也经常使用拷贝的方式来获取到对应的值&#xff0c;例如整形变量拷贝int a 0; i…...

编程日记 2025/1/15 14:09:51

2024年开发语言热度排名

随着技术的不断发展和变化&#xff0c;编程语言的热度也在不断演变。2024年即将到来&#xff0c;我们有必要回顾和展望当前和未来的开发语言市场。本文将基于多个因素&#xff0c;包括行业需求、社区支持、流行度以及新兴趋势&#xff0c;对2024年的开发语言热度进行排名和分析…...

编程日记 2025/1/15 14:07:48

CryptoMamba：利用状态空间模型实现精确的比特币价格预测

“CryptoMamba: Leveraging State Space Models for Accurate Bitcoin Price Prediction” 论文地址&#xff1a;https://arxiv.org/pdf/2501.01010 Github地址&#xff1a;https://github.com/MShahabSepehri/CryptoMamba 摘要 预测比特币价格由于市场的高波动性和复杂的非线…...

编程日记 2025/1/15 14:06:46

MQTTX客户端使用

一、MQTT服务器&#xff08; emqx &#xff09;搭建 (1) 下载服务器MQTT Broker 从https://www.emqx.com/zh/downloads/broker/5.3.0/emqx-5.3.0-windows-amd64.zip下载MQTT Broker。 这里我使用的windows系统&#xff0c;下载对应版本工具&#xff1a;emqx-5.3.0-windows-a…...

编程日记 2025/1/15 14:04:42

网管平台（进阶篇）：路由器的管理实践

在当今数字化时代&#xff0c;路由器作为网络连接的核心设备&#xff0c;其管理对于确保网络的稳定、高效和安全至关重要。本文旨在深入探讨路由器管理的重要性、基本设置步骤、高级功能配置以及日常维护&#xff0c;帮助读者构建一个高效且安全的网络环境。 一、路由器管理的…...

编程日记 2025/1/15 14:01:35

基于微信小程序的智能停车场管理系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…...

编程日记 2025/1/15 13:56:29

【Vue】父组件向子组件传递参数；子组件向父组件触发自定义事件

父组件向子组件传递参数 方法一&#xff1a;props 在 Vue 中&#xff0c;父组件向子组件传递数据主要通过props来实现&#xff0c;以下是具体的步骤&#xff1a; 父组件中传递数据 在父组件中&#xff0c;当需要调用子组件 AddSampleDialog 时&#xff0c;通过 v-bind 或其…...

编程日记 2025/1/15 13:52:25

搜广推校招面经七

抖音推荐算法 一、广告系统中的数据流处理方法&#xff0c;怎么避免延迟回流问题 延迟回流问题是指&#xff0c;实时系统&#xff08;如广告点击预估&#xff09;中&#xff0c;历史数据未及时更新或发生延迟&#xff0c;导致系统的实时预测偏离实际情况。避免延迟回流的方法有…...

编程日记 2025/1/15 13:45:17

Leetcode 518. 零钱兑换 II 动态规划

原题链接&#xff1a;Leetcode 518. 零钱兑换 II 可参考官解&#xff1a;零钱兑换 II 和这个解答&#xff1a;[Java/Python3/C]动态规划&#xff1a;拆分零钱兑换子问题&#xff08;嵌套循环的秘密&#xff09;【图解】 此题需要仔细想象和Leetcode 377. 组合总和 Ⅳ 动态规划…...

编程日记 2025/1/15 13:39:08

为什么需要建设工程项目管理？工程项目管理有哪些亮点功能？

在建筑行业&#xff0c;项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升&#xff0c;传统的管理模式已经难以满足现代工程的需求。过去&#xff0c;许多企业依赖手工记录、口头沟通和分散的信息管理&#xff0c;导致效率低下、成本失控、风险频发。例如&#…...

编程新知 2025/6/12 19:38:31

Linux云原生安全：零信任架构与机密计算

Linux云原生安全&#xff1a;零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言&#xff1a;云原生安全的范式革命 随着云原生技术的普及&#xff0c;安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测&#xff0c;到2025年&#xff0c;零信任架构将成为超…...

编程新知 2025/6/12 21:06:41

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/6/12 20:28:36

【C语言练习】080. 使用C语言实现简单的数据库操作

080. 使用C语言实现简单的数据库操作 080. 使用C语言实现简单的数据库操作使用原生APIODBC接口第三方库ORM框架文件模拟1. 安装SQLite2. 示例代码：使用SQLite创建数据库、表和插入数据3. 编译和运行4. 示例运行输出：5. 注意事项6. 总结080. 使用C语言实现简单的数据库操作 在…...

编程新知 2025/6/12 20:03:01

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2025/6/12 20:33:38

成都鼎讯硬核科技！雷达目标与干扰模拟器，以卓越性能制胜电磁频谱战

在现代战争中&#xff0c;电磁频谱已成为继陆、海、空、天之后的 “第五维战场”&#xff0c;雷达作为电磁频谱领域的关键装备&#xff0c;其干扰与抗干扰能力的较量&#xff0c;直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器&#xff0c;凭借数字射…...

编程新知 2025/6/12 20:09:56

OpenLayers 分屏对比(地图联动)

注&#xff1a;当前使用的是 ol 5.3.0 版本&#xff0c;天地图使用的key请到天地图官网申请&#xff0c;并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能&#xff0c;和卷帘图层不一样的是&#xff0c;分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

编程新知 2025/6/12 11:25:37

聊一聊接口测试的意义有哪些？

目录 一、隔离性 & 早期测试 二、保障系统集成质量 三、验证业务逻辑的核心层 四、提升测试效率与覆盖度 五、系统稳定性的守护者 六、驱动团队协作与契约管理 七、性能与扩展性的前置评估 八、持续交付的核心支撑 接口测试的意义可以从四个维度展开&#xff0c;首…...

编程新知 2025/6/12 10:32:12

JavaScript基础-API 和 Web API

在学习JavaScript的过程中&#xff0c;理解API&#xff08;应用程序接口&#xff09;和Web API的概念及其应用是非常重要的。这些工具极大地扩展了JavaScript的功能&#xff0c;使得开发者能够创建出功能丰富、交互性强的Web应用程序。本文将深入探讨JavaScript中的API与Web AP…...

编程新知 2025/6/12 8:17:35

现有的 Redis 分布式锁库（如 Redisson）提供了哪些便利？

现有的 Redis 分布式锁库&#xff08;如 Redisson&#xff09;相比于开发者自己基于 Redis 命令&#xff08;如 SETNX, EXPIRE, DEL&#xff09;手动实现分布式锁&#xff0c;提供了巨大的便利性和健壮性。主要体现在以下几个方面&#xff1a; 原子性保证 (Atomicity)&#xff…...

编程新知 2025/6/12 8:37:34