当前位置： 首页 > news >正文

数据储存与管理【大数据导论】

news 2025/9/17 2:57:32
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

  • 1. 数据储存与管理概念
  • 2. 数据库详解
  • 3. 传统数据储存与管理技术详解
    • 3.1 文件系统
    • 3.2 关系数据库详解
    • 3.3 数据仓库详解
    • 3.4 并行数据库详解

1. 数据储存与管理概念

概念： 利用计算机硬件和软件技术，对数据进行有效的储存和应用，如图1

在这里插入图片描述

图1

储存数据类型：

  • 结构化数据库
  • 半结构化数据库
    • 网页文件
  • 非结构化数据库
    • 图片
    • 视频
    • 音频

在这里插入图片描述

图2

数据储存与管理技术：

传统

  • 文件系统
  • 关系数据库
  • 数据仓库
  • 并行数据库
    在这里插入图片描述
图3

新型

  • 分布式文件系统
  • NewSQL数据库
  • NoSQL数据库
  • 云数据库

在这里插入图片描述

图4

代表性产品

  • HDFS
  • Spanner
  • HBase

在这里插入图片描述

图5

2. 数据库详解

数据库概念： 面向事务，以一定的方式储存在一起，能被多个用户共享，具有尽可能小的冗余度与应用程序彼此独立的应用集合

数据库管理系统：

  • DBMS

在这里插入图片描述

图6

传统数据库：

  • 网状数据库
  • 层状数据库
  • 关系数据库（主流）
    在这里插入图片描述
图7

3. 传统数据储存与管理技术详解

3.1 文件系统

概念： 操作系统用于明确存储设备或分区上文件信息的方法与数据结构

在这里插入图片描述

图8

文件系统的组成：

  • 文件系统的接口
  • 对对象操纵和管理的软件集合
  • 对象及属性

在这里插入图片描述

图9

文件系统功能：

建立、存入、读出、转改、转储、控制文件的存取、销毁文件

在这里插入图片描述

图10

3.2 关系数据库详解

关系数据库 结构化数据概念： 采用关系数据模型来组织、管理数据，可以看成许多关系表（二维表格）的结合
在这里插入图片描述

图11

注意： 结构化的数据都必须提前定好表的名称、字段名称、字段类型和约束等规范化操作

在这里插入图片描述

图12

优点： 数据表的可靠性和稳定性高
缺点： 数据模型不够灵活，一旦存入数据后，进行修改困难
关系数据库常见产品：

  • Oracle
  • SQL Server
  • MySQL
  • DB2
    在这里插入图片描述
图13

关系数据库存储规范：

为了规范数据、减少重复性数据、充分利用存储空间，把数据按照最小的数据表形式存储，采用主外键关系，并且通过连接查询获取数据表之间的相关结果
在这里插入图片描述

图14

关系数据库查询方式：

结构化查询语言（SQL）

  • 高级的非过程化语言，允许用户在高层的数据结构上工作且该语言可以嵌套使用，具有很高的灵活性

在这里插入图片描述

图15

关系数据库连接方式：

统一的数据库连接接口标准ODBC

  • 利用ODBC生产的程序与具体的数据库产品无关，从而数据库用户与开发人员平定不同数据库异构环境的复杂性

在这里插入图片描述

图16

3.3 数据仓库详解

数据仓库概念： 面向主题的、集成的、相对稳定的反映历史变化的数据集合，从而支持管理决策
数据仓库结构：

  • 数据源
  • 数据储存和管理
  • OLAP服务器
  • 前端工具和应用
    在这里插入图片描述
图17

其中数据源
分为内部数据和外部数据
内部：

  • 业务数据+文档数据

在这里插入图片描述

图18

外部：

  • 外部数据
  • 法律法规
  • 市场信息
  • 竞争对手的信息
  • 外部统计数据
  • 其他相关文档

在这里插入图片描述

图19

其中数据存储和管理
对数据进行抽取和转换，并且加载到数据仓库中，并且按照主题进行重新组织，最终确定数据仓库的目的存储结构，同时存储数据结构的原数据（数据字典、记录系统定义、数据转化规则、数据加载频率、业务规则）

在这里插入图片描述

图20

其中OLAP服务器

对需要分析的数据按照多维数据模型进行重组,从而支持用户随时从多角度、多层次分析数据，发现数据规律趋势

在这里插入图片描述

图21

其中前端工具和应用

  • 数据查询工具
  • 自由报表工具
  • 数据分析工具
  • 数据挖掘工具
  • 各类应用系统

在这里插入图片描述

图22

数据库与数据仓库对比

数据库： 面向事务，捕获数据
数据仓库： 面向主题，分析数据

3.4 并行数据库详解

并行数据库概念： 在无共享的体系结构中进行数据操作的数据系统。这些系统大部分采用了关系数据模型，支持进行SQL语句查询
两大关键技术：

  • 关系表的水平划分
  • SQL查询的分区执行

在这里插入图片描述

图23

优点：
高性能和高可靠性，通过多个节点并行数据库任务，提高整个数据库系统的性能和可用性

缺点：
没有较好的弹性，不好进行数据转移
系统容错率较差，一旦节点发生了故障，整个查询都要从头开始执行，只适合资源需求相对固定的程序

4. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强
在这里插入图片描述

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

相关文章：

数据储存与管理【大数据导论】

这里是阿川的博客，祝您变得更强 ✨ 个人主页：在线OJ的阿川 💖文章专栏：大数据入门到进阶 🌏代码仓库： 写在开头 现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论 目录 1…...

编程日记 2025/1/15 14:34:39

《从零到一：搭建高效体育直播网站的全流程技术指南》

搭建一个体育直播网站需要综合考虑技术架构、数据来源、用户体验、安全性等多个层面。从整体到细节，搭建这样一个网站的流程比较复杂，但可以分成几个重要的步骤和技术环节。以下是搭建体育直播网站的技术层面准备全流程： 一、需求分析与规划 …...

编程日记 2025/1/15 14:32:37

松散比较（PHP）（小迪网络安全笔记~

免责声明：本文章仅用于交流学习，因文章内容而产生的任何违法&未授权行为，与文章作者无关！！！ 附：完整笔记目录~ ps：本人小白，笔记均在个人理解基础上整理，…...

编程日记 2025/1/15 14:29:32

一文了解如何使用 DBeaver 管理 DolphinDB

在日常的数据开发、分析和数据库运维中，一款优秀的 IDE 能够极大地提升工作效率。DBEaver 是一款由 Java 编写的一站式跨平台连接器，其社区版本已能支持连接近百种数据库，受到广大开发者的喜爱。近期。DolphinDB 与 DBeaver 团队共同努力&…...

编程日记 2025/1/15 14:28:31

网络基础知识指南|1-20个

1. IP地址: 即互联网协议地址，是用于标识互联网上的每一个设备或节点的唯一地址。IP地址的作用主要是进行网络设备的定位和路由，确保数据包可以从源设备准确地传送到目标设备。2. 子网掩码: 是用于将一个IP地址划分为网络地址和主机地址的工具。它通常与…...

编程日记 2025/1/15 14:27:30

01.09周四F34-Day50打卡

文章目录 1. -我大衣呢? -就在上次你放的地方。2. 这所学校是在曾经的影院上建立起来的。3. 她今天落到这个地步都怪你。4. 留得青山在，不怕没柴烧。(一息尚存，希望不灭。)5. 有善良的地方就有美德，有美德的地方就有奇迹。(《灰姑娘》原句)6. 为了和老外说话时不再发窘，所…...

编程日记 2025/1/15 14:25:25

Linux简介和环境搭建

Linux 介绍和环境搭建 1、发行版本 Linux 操作系统有多个主流发行版本，每个版本根据不同的目标、特点和使用场景为用户提供了不同的功能和体验。 Ubuntu • 特点：Ubuntu 是最为人熟知的 Linux 发行版之一，强调易用性和用户友好性&#xff…...

编程日记 2025/1/15 14:23:22

在移动端开发图表，uniapp+echarts,需要特殊处理，使用renderjs

1.首先要创建一个组件warning，用来装图表（我排除绿色那段代码为我的需求，不是必要代码） <template> <div class="task_container"> <div class="pop_body"> <div class="footer"> <warning…...

编程日记 2025/1/15 14:22:20

SpringBoot之LazyInitializationBeanFactoryPostProcessor类源码学习

源码分析 /**** author Andy Wilkinson* author Madhura Bhave* author Tyler Van Gorder* author Phillip Webb* since 2.2.0* see LazyInitializationExcludeFilter** 主要用于延迟初始化 Bean 的配置。它通过修改 BeanFactory 的配置来确保某些 Bean 在实际需要时才进行初始…...

编程日记 2025/1/15 14:18:10

United States of America三种表示

"United States of America", "United States", 和 "America" 都表示美国&#xff0c;但它们的使用场景和背景略有不同。以下是关于为什么这些名称可以合在一起表示美国的详细解释&#xff1a; 1. "United States of America" 全称&a…...

编程日记 2025/1/15 14:16:05

OpenCV基于均值漂移算法(pyrMeanShiftFiltering)的水彩画特效

1、均值漂移算法原理 pyrMeanShiftFiltering算法结合了均值迁移&#xff08;Mean Shift&#xff09;算法和图像金字塔&#xff08;Image Pyramid&#xff09;的概念&#xff0c;用于图像分割和平滑处理。以下是该算法的详细原理&#xff1a; 1.1 、均值迁移&#xff08;Mean …...

编程日记 2025/1/15 14:10:56

【C++】拷贝构造函数与运算符重载

写在前面 拷贝构造函数、赋值运算符重载、取地址运算符都是属于类的默认成员函数&#xff01; 默认成员函数是程序猿不显示声明定义&#xff0c;编译器会中生成。 在程序编写中&#xff0c;我们也经常使用拷贝的方式来获取到对应的值&#xff0c;例如整形变量拷贝int a 0; i…...

编程日记 2025/1/15 14:09:51

2024年开发语言热度排名

随着技术的不断发展和变化&#xff0c;编程语言的热度也在不断演变。2024年即将到来&#xff0c;我们有必要回顾和展望当前和未来的开发语言市场。本文将基于多个因素&#xff0c;包括行业需求、社区支持、流行度以及新兴趋势&#xff0c;对2024年的开发语言热度进行排名和分析…...

编程日记 2025/1/15 14:07:48

CryptoMamba：利用状态空间模型实现精确的比特币价格预测

“CryptoMamba: Leveraging State Space Models for Accurate Bitcoin Price Prediction” 论文地址&#xff1a;https://arxiv.org/pdf/2501.01010 Github地址&#xff1a;https://github.com/MShahabSepehri/CryptoMamba 摘要 预测比特币价格由于市场的高波动性和复杂的非线…...

编程日记 2025/1/15 14:06:46

MQTTX客户端使用

一、MQTT服务器&#xff08; emqx &#xff09;搭建 (1) 下载服务器MQTT Broker 从https://www.emqx.com/zh/downloads/broker/5.3.0/emqx-5.3.0-windows-amd64.zip下载MQTT Broker。 这里我使用的windows系统&#xff0c;下载对应版本工具&#xff1a;emqx-5.3.0-windows-a…...

编程日记 2025/1/15 14:04:42

网管平台（进阶篇）：路由器的管理实践

在当今数字化时代&#xff0c;路由器作为网络连接的核心设备&#xff0c;其管理对于确保网络的稳定、高效和安全至关重要。本文旨在深入探讨路由器管理的重要性、基本设置步骤、高级功能配置以及日常维护&#xff0c;帮助读者构建一个高效且安全的网络环境。 一、路由器管理的…...

编程日记 2025/1/15 14:01:35

基于微信小程序的智能停车场管理系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…...

编程日记 2025/1/15 13:56:29

【Vue】父组件向子组件传递参数；子组件向父组件触发自定义事件

父组件向子组件传递参数 方法一&#xff1a;props 在 Vue 中&#xff0c;父组件向子组件传递数据主要通过props来实现&#xff0c;以下是具体的步骤&#xff1a; 父组件中传递数据 在父组件中&#xff0c;当需要调用子组件 AddSampleDialog 时&#xff0c;通过 v-bind 或其…...

编程日记 2025/1/15 13:52:25

搜广推校招面经七

抖音推荐算法 一、广告系统中的数据流处理方法&#xff0c;怎么避免延迟回流问题 延迟回流问题是指&#xff0c;实时系统&#xff08;如广告点击预估&#xff09;中&#xff0c;历史数据未及时更新或发生延迟&#xff0c;导致系统的实时预测偏离实际情况。避免延迟回流的方法有…...

编程日记 2025/1/15 13:45:17

Leetcode 518. 零钱兑换 II 动态规划

原题链接&#xff1a;Leetcode 518. 零钱兑换 II 可参考官解&#xff1a;零钱兑换 II 和这个解答&#xff1a;[Java/Python3/C]动态规划&#xff1a;拆分零钱兑换子问题&#xff08;嵌套循环的秘密&#xff09;【图解】 此题需要仔细想象和Leetcode 377. 组合总和 Ⅳ 动态规划…...

编程日记 2025/1/15 13:39:08

XCTF-web-easyupload

试了试php&#xff0c;php7&#xff0c;pht&#xff0c;phtml等&#xff0c;都没有用 尝试.user.ini 抓包修改将.user.ini修改为jpg图片 在上传一个123.jpg 用蚁剑连接&#xff0c;得到flag...

编程新知 2025/9/14 1:53:04

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2025/7/7 9:09:17

MMaDA: Multimodal Large Diffusion Language Models

CODE &#xff1a; https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA&#xff0c;它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

编程新知 2025/9/14 12:34:56

反射获取方法和属性

Java反射获取方法 在Java中&#xff0c;反射&#xff08;Reflection&#xff09;是一种强大的机制&#xff0c;允许程序在运行时访问和操作类的内部属性和方法。通过反射&#xff0c;可以动态地创建对象、调用方法、改变属性值&#xff0c;这在很多Java框架中如Spring和Hiberna…...

编程新知 2025/7/5 23:14:36

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/7/23 19:14:14

使用Matplotlib创建炫酷的3D散点图：数据可视化的新维度

文章目录 基础实现代码代码解析进阶技巧1. 自定义点的大小和颜色2. 添加图例和样式美化3. 真实数据应用示例实用技巧与注意事项完整示例（带样式）应用场景在数据科学和可视化领域，三维图形能为我们提供更丰富的数据洞察。本文将手把手教你如何使用Python的Matplotlib库创建引…...

编程新知 2025/6/16 21:06:50

【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点&#xff1a; 多级缓存&#xff0c;先查本地缓存&#xff0c;再查Redis&#xff0c;最后才查数据库热点数据重建逻辑使用分布式锁&#xff0c;二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

编程新知 2025/9/2 18:28:40

论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving

地址&#xff1a;LLM4Drive: A Survey of Large Language Models for Autonomous Driving 摘要翻译 自动驾驶技术作为推动交通和城市出行变革的催化剂&#xff0c;正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。…...

编程新知 2025/9/12 16:16:31

【无标题】湖北理元理律师事务所：债务优化中的生活保障与法律平衡之道

文/法律实务观察组 在债务重组领域&#xff0c;专业机构的核心价值不仅在于减轻债务数字&#xff0c;更在于帮助债务人在履行义务的同时维持基本生活尊严。湖北理元理律师事务所的服务实践表明&#xff0c;合法债务优化需同步实现三重平衡&#xff1a; 法律刚性&#xff08;债…...

编程新知 2025/9/16 13:55:12

Unity VR/MR开发-VR开发与传统3D开发的差异

视频讲解链接&#xff1a;【XR马斯维】VR/MR开发与传统3D开发的差异【UnityVR/MR开发教程--入门】_哔哩哔哩_bilibili...

编程新知 2025/9/2 16:50:21