当前位置： 首页 > news >正文

数据储存与管理【大数据导论】

news 2025/11/13 7:16:04
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

  • 1. 数据储存与管理概念
  • 2. 数据库详解
  • 3. 传统数据储存与管理技术详解
    • 3.1 文件系统
    • 3.2 关系数据库详解
    • 3.3 数据仓库详解
    • 3.4 并行数据库详解

1. 数据储存与管理概念

概念： 利用计算机硬件和软件技术，对数据进行有效的储存和应用，如图1

在这里插入图片描述

图1

储存数据类型：

  • 结构化数据库
  • 半结构化数据库
    • 网页文件
  • 非结构化数据库
    • 图片
    • 视频
    • 音频

在这里插入图片描述

图2

数据储存与管理技术：

传统

  • 文件系统
  • 关系数据库
  • 数据仓库
  • 并行数据库
    在这里插入图片描述
图3

新型

  • 分布式文件系统
  • NewSQL数据库
  • NoSQL数据库
  • 云数据库

在这里插入图片描述

图4

代表性产品

  • HDFS
  • Spanner
  • HBase

在这里插入图片描述

图5

2. 数据库详解

数据库概念： 面向事务，以一定的方式储存在一起，能被多个用户共享，具有尽可能小的冗余度与应用程序彼此独立的应用集合

数据库管理系统：

  • DBMS

在这里插入图片描述

图6

传统数据库：

  • 网状数据库
  • 层状数据库
  • 关系数据库（主流）
    在这里插入图片描述
图7

3. 传统数据储存与管理技术详解

3.1 文件系统

概念： 操作系统用于明确存储设备或分区上文件信息的方法与数据结构

在这里插入图片描述

图8

文件系统的组成：

  • 文件系统的接口
  • 对对象操纵和管理的软件集合
  • 对象及属性

在这里插入图片描述

图9

文件系统功能：

建立、存入、读出、转改、转储、控制文件的存取、销毁文件

在这里插入图片描述

图10

3.2 关系数据库详解

关系数据库 结构化数据概念： 采用关系数据模型来组织、管理数据，可以看成许多关系表（二维表格）的结合
在这里插入图片描述

图11

注意： 结构化的数据都必须提前定好表的名称、字段名称、字段类型和约束等规范化操作

在这里插入图片描述

图12

优点： 数据表的可靠性和稳定性高
缺点： 数据模型不够灵活，一旦存入数据后，进行修改困难
关系数据库常见产品：

  • Oracle
  • SQL Server
  • MySQL
  • DB2
    在这里插入图片描述
图13

关系数据库存储规范：

为了规范数据、减少重复性数据、充分利用存储空间，把数据按照最小的数据表形式存储，采用主外键关系，并且通过连接查询获取数据表之间的相关结果
在这里插入图片描述

图14

关系数据库查询方式：

结构化查询语言（SQL）

  • 高级的非过程化语言，允许用户在高层的数据结构上工作且该语言可以嵌套使用，具有很高的灵活性

在这里插入图片描述

图15

关系数据库连接方式：

统一的数据库连接接口标准ODBC

  • 利用ODBC生产的程序与具体的数据库产品无关，从而数据库用户与开发人员平定不同数据库异构环境的复杂性

在这里插入图片描述

图16

3.3 数据仓库详解

数据仓库概念： 面向主题的、集成的、相对稳定的反映历史变化的数据集合，从而支持管理决策
数据仓库结构：

  • 数据源
  • 数据储存和管理
  • OLAP服务器
  • 前端工具和应用
    在这里插入图片描述
图17

其中数据源
分为内部数据和外部数据
内部：

  • 业务数据+文档数据

在这里插入图片描述

图18

外部：

  • 外部数据
  • 法律法规
  • 市场信息
  • 竞争对手的信息
  • 外部统计数据
  • 其他相关文档

在这里插入图片描述

图19

其中数据存储和管理
对数据进行抽取和转换，并且加载到数据仓库中，并且按照主题进行重新组织，最终确定数据仓库的目的存储结构，同时存储数据结构的原数据（数据字典、记录系统定义、数据转化规则、数据加载频率、业务规则）

在这里插入图片描述

图20

其中OLAP服务器

对需要分析的数据按照多维数据模型进行重组,从而支持用户随时从多角度、多层次分析数据，发现数据规律趋势

在这里插入图片描述

图21

其中前端工具和应用

  • 数据查询工具
  • 自由报表工具
  • 数据分析工具
  • 数据挖掘工具
  • 各类应用系统

在这里插入图片描述

图22

数据库与数据仓库对比

数据库： 面向事务，捕获数据
数据仓库： 面向主题，分析数据

3.4 并行数据库详解

并行数据库概念： 在无共享的体系结构中进行数据操作的数据系统。这些系统大部分采用了关系数据模型，支持进行SQL语句查询
两大关键技术：

  • 关系表的水平划分
  • SQL查询的分区执行

在这里插入图片描述

图23

优点：
高性能和高可靠性，通过多个节点并行数据库任务，提高整个数据库系统的性能和可用性

缺点：
没有较好的弹性，不好进行数据转移
系统容错率较差，一旦节点发生了故障，整个查询都要从头开始执行，只适合资源需求相对固定的程序

4. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强
在这里插入图片描述

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

相关文章：

数据储存与管理【大数据导论】

这里是阿川的博客，祝您变得更强 ✨ 个人主页：在线OJ的阿川 💖文章专栏：大数据入门到进阶 🌏代码仓库： 写在开头 现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论 目录 1…...

编程日记 2025/1/15 14:34:39

《从零到一：搭建高效体育直播网站的全流程技术指南》

搭建一个体育直播网站需要综合考虑技术架构、数据来源、用户体验、安全性等多个层面。从整体到细节，搭建这样一个网站的流程比较复杂，但可以分成几个重要的步骤和技术环节。以下是搭建体育直播网站的技术层面准备全流程： 一、需求分析与规划 …...

编程日记 2025/1/15 14:32:37

松散比较（PHP）（小迪网络安全笔记~

免责声明：本文章仅用于交流学习，因文章内容而产生的任何违法&未授权行为，与文章作者无关！！！ 附：完整笔记目录~ ps：本人小白，笔记均在个人理解基础上整理，…...

编程日记 2025/1/15 14:29:32

一文了解如何使用 DBeaver 管理 DolphinDB

在日常的数据开发、分析和数据库运维中，一款优秀的 IDE 能够极大地提升工作效率。DBEaver 是一款由 Java 编写的一站式跨平台连接器，其社区版本已能支持连接近百种数据库，受到广大开发者的喜爱。近期。DolphinDB 与 DBeaver 团队共同努力&…...

编程日记 2025/1/15 14:28:31

网络基础知识指南|1-20个

1. IP地址: 即互联网协议地址，是用于标识互联网上的每一个设备或节点的唯一地址。IP地址的作用主要是进行网络设备的定位和路由，确保数据包可以从源设备准确地传送到目标设备。2. 子网掩码: 是用于将一个IP地址划分为网络地址和主机地址的工具。它通常与…...

编程日记 2025/1/15 14:27:30

01.09周四F34-Day50打卡

文章目录 1. -我大衣呢? -就在上次你放的地方。2. 这所学校是在曾经的影院上建立起来的。3. 她今天落到这个地步都怪你。4. 留得青山在，不怕没柴烧。(一息尚存，希望不灭。)5. 有善良的地方就有美德，有美德的地方就有奇迹。(《灰姑娘》原句)6. 为了和老外说话时不再发窘，所…...

编程日记 2025/1/15 14:25:25

Linux简介和环境搭建

Linux 介绍和环境搭建 1、发行版本 Linux 操作系统有多个主流发行版本，每个版本根据不同的目标、特点和使用场景为用户提供了不同的功能和体验。 Ubuntu • 特点：Ubuntu 是最为人熟知的 Linux 发行版之一，强调易用性和用户友好性&#xff…...

编程日记 2025/1/15 14:23:22

在移动端开发图表，uniapp+echarts,需要特殊处理，使用renderjs

1.首先要创建一个组件warning，用来装图表（我排除绿色那段代码为我的需求，不是必要代码） <template> <div class="task_container"> <div class="pop_body"> <div class="footer"> <warning…...

编程日记 2025/1/15 14:22:20

SpringBoot之LazyInitializationBeanFactoryPostProcessor类源码学习

源码分析 /**** author Andy Wilkinson* author Madhura Bhave* author Tyler Van Gorder* author Phillip Webb* since 2.2.0* see LazyInitializationExcludeFilter** 主要用于延迟初始化 Bean 的配置。它通过修改 BeanFactory 的配置来确保某些 Bean 在实际需要时才进行初始…...

编程日记 2025/1/15 14:18:10

United States of America三种表示

"United States of America", "United States", 和 "America" 都表示美国&#xff0c;但它们的使用场景和背景略有不同。以下是关于为什么这些名称可以合在一起表示美国的详细解释&#xff1a; 1. "United States of America" 全称&a…...

编程日记 2025/1/15 14:16:05

OpenCV基于均值漂移算法(pyrMeanShiftFiltering)的水彩画特效

1、均值漂移算法原理 pyrMeanShiftFiltering算法结合了均值迁移&#xff08;Mean Shift&#xff09;算法和图像金字塔&#xff08;Image Pyramid&#xff09;的概念&#xff0c;用于图像分割和平滑处理。以下是该算法的详细原理&#xff1a; 1.1 、均值迁移&#xff08;Mean …...

编程日记 2025/1/15 14:10:56

【C++】拷贝构造函数与运算符重载

写在前面 拷贝构造函数、赋值运算符重载、取地址运算符都是属于类的默认成员函数&#xff01; 默认成员函数是程序猿不显示声明定义&#xff0c;编译器会中生成。 在程序编写中&#xff0c;我们也经常使用拷贝的方式来获取到对应的值&#xff0c;例如整形变量拷贝int a 0; i…...

编程日记 2025/1/15 14:09:51

2024年开发语言热度排名

随着技术的不断发展和变化&#xff0c;编程语言的热度也在不断演变。2024年即将到来&#xff0c;我们有必要回顾和展望当前和未来的开发语言市场。本文将基于多个因素&#xff0c;包括行业需求、社区支持、流行度以及新兴趋势&#xff0c;对2024年的开发语言热度进行排名和分析…...

编程日记 2025/1/15 14:07:48

CryptoMamba：利用状态空间模型实现精确的比特币价格预测

“CryptoMamba: Leveraging State Space Models for Accurate Bitcoin Price Prediction” 论文地址&#xff1a;https://arxiv.org/pdf/2501.01010 Github地址&#xff1a;https://github.com/MShahabSepehri/CryptoMamba 摘要 预测比特币价格由于市场的高波动性和复杂的非线…...

编程日记 2025/1/15 14:06:46

MQTTX客户端使用

一、MQTT服务器&#xff08; emqx &#xff09;搭建 (1) 下载服务器MQTT Broker 从https://www.emqx.com/zh/downloads/broker/5.3.0/emqx-5.3.0-windows-amd64.zip下载MQTT Broker。 这里我使用的windows系统&#xff0c;下载对应版本工具&#xff1a;emqx-5.3.0-windows-a…...

编程日记 2025/1/15 14:04:42

网管平台（进阶篇）：路由器的管理实践

在当今数字化时代&#xff0c;路由器作为网络连接的核心设备&#xff0c;其管理对于确保网络的稳定、高效和安全至关重要。本文旨在深入探讨路由器管理的重要性、基本设置步骤、高级功能配置以及日常维护&#xff0c;帮助读者构建一个高效且安全的网络环境。 一、路由器管理的…...

编程日记 2025/1/15 14:01:35

基于微信小程序的智能停车场管理系统设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…...

编程日记 2025/1/15 13:56:29

【Vue】父组件向子组件传递参数；子组件向父组件触发自定义事件

父组件向子组件传递参数 方法一&#xff1a;props 在 Vue 中&#xff0c;父组件向子组件传递数据主要通过props来实现&#xff0c;以下是具体的步骤&#xff1a; 父组件中传递数据 在父组件中&#xff0c;当需要调用子组件 AddSampleDialog 时&#xff0c;通过 v-bind 或其…...

编程日记 2025/1/15 13:52:25

搜广推校招面经七

抖音推荐算法 一、广告系统中的数据流处理方法&#xff0c;怎么避免延迟回流问题 延迟回流问题是指&#xff0c;实时系统&#xff08;如广告点击预估&#xff09;中&#xff0c;历史数据未及时更新或发生延迟&#xff0c;导致系统的实时预测偏离实际情况。避免延迟回流的方法有…...

编程日记 2025/1/15 13:45:17

Leetcode 518. 零钱兑换 II 动态规划

原题链接&#xff1a;Leetcode 518. 零钱兑换 II 可参考官解&#xff1a;零钱兑换 II 和这个解答&#xff1a;[Java/Python3/C]动态规划&#xff1a;拆分零钱兑换子问题&#xff08;嵌套循环的秘密&#xff09;【图解】 此题需要仔细想象和Leetcode 377. 组合总和 Ⅳ 动态规划…...

编程日记 2025/1/15 13:39:08

MPNet：旋转机械轻量化故障诊断模型详解python代码复现

目录 一、问题背景与挑战 二、MPNet核心架构 2.1 多分支特征融合模块（MBFM） 2.2 残差注意力金字塔模块（RAPM） 2.2.1 空间金字塔注意力（SPA） 2.2.2 金字塔残差块（PRBlock） 2.3 分类器设计 三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...

编程新知 2025/11/12 21:40:00

【Java学习笔记】Arrays类

Arrays 类 1. 导入包&#xff1a;import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序&#xff08;自然排序和定制排序&#xff09;Arrays.binarySearch()通过二分搜索法进行查找&#xff08;前提&#xff1a;数组是…...

编程新知 2025/10/25 11:57:30

【入坑系列】TiDB 强制索引在不同库下不生效问题

文章目录 背景SQL 优化情况线上SQL运行情况分析怀疑1：执行计划绑定问题？尝试：SHOW WARNINGS 查看警告探索 TiDB 的 USE_INDEX 写法Hint 不生效问题排查解决参考背景 项目中使用 TiDB 数据库，并对 SQL 进行优化了，添加了强制索引。 UAT 环境已经生效，但 PROD 环境强制索…...

编程新知 2025/11/7 20:35:19

C++中string流知识详解和示例

一、概览与类体系 C 提供三种基于内存字符串的流&#xff0c;定义在 <sstream> 中&#xff1a; std::istringstream&#xff1a;输入流&#xff0c;从已有字符串中读取并解析。std::ostringstream&#xff1a;输出流&#xff0c;向内部缓冲区写入内容&#xff0c;最终取…...

编程新知 2025/10/18 0:50:34

WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章&#xff1f;AI自动生成&#xff0c;效率提升10倍&#xff01; 支持多语言、自动配图、定时发布&#xff0c;让内容创作更轻松&#xff01; AI内容生成 → 不想每天写文章&#xff1f;AI一键生成高质量内容&#xff01;多语言支持 → 跨境电商必备&am…...

编程新知 2025/11/9 18:58:37

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/1 23:43:26

Rust 异步编程

Rust 异步编程 引言 Rust 是一种系统编程语言，以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天，异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...

编程新知 2025/10/20 1:24:05

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/10/16 16:03:09

免费PDF转图片工具

免费PDF转图片工具 一款简单易用的PDF转图片工具&#xff0c;可以将PDF文件快速转换为高质量PNG图片。无需安装复杂的软件&#xff0c;也不需要在线上传文件&#xff0c;保护您的隐私。 工具截图 主要特点 &#x1f680; 快速转换&#xff1a;本地转换&#xff0c;无需等待上…...

编程新知 2025/11/12 16:52:23

力扣热题100 k个一组反转链表题解

题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...

编程新知 2025/11/12 18:52:40