当前位置： 首页 > news >正文

六、互联网技术——数据存储

news 2025/10/28 5:59:49

文章目录

  • 一、存储系统层次结构
  • 二、按照重要性分类
  • 三、磁盘阵列RAID
  • 三、RAID基础
  • 四、磁盘阵列分级
  • 五、数据备份与恢复
  • 六、容灾与灾难恢复

一、存储系统层次结构

常见的三层存储体系结构如下图所示，分为高速缓冲存储器、主存储器和外存储器。
在这里插入图片描述

二、按照重要性分类

按照数据价值对数据进行分类
在这里插入图片描述

三、磁盘阵列RAID

  1. RAID的基本思想包括两方面内容：利用数据条带化提高性能和利用数据冗余提高可靠性。
  2. RAID系统主要由RAID控制器、磁盘控制器、磁盘组成
    在这里插入图片描述

三、RAID基础

  1. 磁盘阵列的数据组织以分区、分块和分条为基础
  2. RAID技术可以通过以下三种方式实现。【口诀：软硬合】
  • 硬件raid
  • 软件raid
  • 软硬结合

四、磁盘阵列分级

分级内容
RAID0称为条带化(Striping)存储，将数据分段存储于各个磁盘中，读写均可以并行处理。因此其读写速率为单个磁盘的N倍(N为组成RAIDO的磁盘个数)，但是却没有数据几余(数据余能力最弱)，单个磁盘的损坏会导致数据的不可修复。
RAID1称为镜像 (Mirroring)，它将数据完全一致地分别写到工作磁盘和镜像磁盘，它的磁盘空间利用率为50%(磁盘空间利用率最低)。RAID1提供了最佳的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据不会影响用户工作。
RAID2称为纠错海明码磁盘阵列，RAIDO的改良版，加入了海明码 (Hamming Code) 错误校验，其设计思想是利用海明码实现数据校验冗余。但是，海明码的数据冗余开销太大。
RAID3使用专用校验盘的并行访问阵列，它采用一个专用的磁盘作为校验盘，其余磁盘作为数据盘，数据按位和字节的方式交叉存储到各个数据盘中。RAID3至少需要3块磁盘，
RAID4按照块的方式来组织数据，写操作只涉及当前数据盘和校验盘两个盘，多个I/O请求可以同时得到处理，提高了系统性能。
RAID5(1)目前最常见的RAID等级。(2)目前综合性能最佳的数据保护解决方案(3)RAID5的磁盘空间利用率要比RAID1高
混合RAID(1) RAID 0+1(2)RAID 1+0.（3)二者在读写性能上没有什么差别。但是安全性上RAID1+0要好于RAIDO+1。
RAID级别RAID0RAID1RAID5RAID6RAID10
可靠性最低高较高最高高
冗余类型无镜像冗余校验冗余校验冗余镜像冗余
空间利用率100%50%(N-1)/N(N-2)/N50%
性能最高最低较高较高较高
允许坏盘数量0N/212N/2

五、数据备份与恢复

在这里插入图片描述

六、容灾与灾难恢复

  1. 容灾的分类:[口诀:业务应用数据]
  • 数据级容灾
  • 应用级容灾
  • 业务级容灾
  1. 容灾的关键技术:如SAN或NAS技术、远程镜像技术、基于IP的SAN的互连技术、快照技术等
  2. 衡量容灾备份的两个技术指标
  • 数据恢复点目标 (Recovery Point Objective，RPO) 。主要指业务系统所能容忍的数据丢失量。
  • 恢复时间目标 (Recovery Time Objective，RTO) 。主要指所能容忍的业务停止服务的最长时间

相关文章：

六、互联网技术——数据存储

文章目录 一、存储系统层次结构二、按照重要性分类三、磁盘阵列RAID三、RAID基础四、磁盘阵列分级五、数据备份与恢复六、容灾与灾难恢复 一、存储系统层次结构 常见的三层存储体系结构如下图所示，分为高速缓冲存储器、主存储器和外存储器。 二、按照重要性分类 …...

编程日记 2023/10/6 1:30:20

六、vpp 流表+负载均衡

草稿！！！ vpp node其实就是三个部分 1、plugin init 2、set command 3、function 实现功能，比如这里的流表 今天我们再用VPP实现一个流表的功能 一、流表 1.1流表----plugin init VLIB_REGISTER_NODE 注册流表节点 // 注册流…...

编程日记 2023/10/6 1:28:19

word已排序好的参考文献，插入新的参考文献，序号更新

原排序好的文献序号。 现在在3号后面插入一个新文献。4，5号应该成为5，6 这时在3号后面，回车，就会自动的增长。如下图： 但是如果手滑，把[4]删除了如何排序？？ 如下图： …...

编程日记 2023/10/6 1:27:18

二叉树的顺序存储——堆——初识堆排序

前面我们学过可以把完全二叉树存入到顺序表中，然后利用完全二叉树的情缘关系，就可以通过数组下标来联系。 但是并不是把二叉树存入到数组中就是堆了，要看原原来的二叉树是否满足：所有的父都小于等于子，或者所有的父都…...

编程日记 2023/10/6 1:26:16

CYEZ 模拟赛 9

A a ⊥ b ⇒ a − b ⊥ a b (1) a \perp b \Rightarrow a-b \perp ab \tag {1} a⊥b⇒a−b⊥ab(1) 证明： gcd ⁡ ( a , b ) gcd ⁡ ( b , a − b ) \gcd(a,b) \gcd(b, a-b) gcd(a,b)gcd(b,a−b)，故 a − b ⊥ b a - b \perp b a−b⊥b，同…...

编程日记 2023/10/6 1:23:13

typescript: Builder Pattern

/*** file: CarBuilderts.ts* TypeScript 实体类 Model* Builder Pattern* 生成器是一种创建型设计模式， 使你能够分步骤创建复杂对象。* https://stackoverflow.com/questions/12827266/get-and-set-in-typescript* https://github.com/Microsoft/TypeScript/wiki/…...

编程日记 2023/10/6 1:21:10

WPS/word 表格跨行如何续表、和表的名称

1：具体操作： 将光标定位在跨页部分的第一行任意位置，按下快捷键ctrlshiftenter，就可以在跨页的表格上方插入空行（在空行可以写，表1-3 xxxx（续）） 在空行中输入…...

编程日记 2023/10/6 1:19:09

Python的NumPy库（一）基础用法

NumPy库并不是Python的标准库，但其在机器学习、大数据等很多领域有非常广泛的应用，NumPy本身就有比较多的内容，全部的学习可能涉及许多的内容，但我们在这里仅学习常见的使用，这些内容对于我们日常使用NumPy是足够的。 …...

编程日记 2023/10/6 1:13:03

uniapp app 导出excel 表格

直接复制运行 <template><view><button click"tableToExcel">导出一个表来看</button><view>{{ successTip }}</view></view> </template><script>export default {data() {return {successTip: }},metho…...

编程日记 2023/10/6 1:11:02

【RabbitMQ】常用消息模型详解

文章目录 AMQP协议的回顾RabbitMQ支持的消息模型第一种模型(直连)开发生产者开发消费者生产者、消费者开发优化API参数细节 第二种模型(work quene)开发生产者开发消费者消息自动确认机制 第三种模型(fanout)开发生产者开发消费者 第四种模型(Routing)开发生产者开发消费者 第五…...

编程日记 2023/10/6 1:08:59

图像拼接后丢失数据，转tiff报错rasterfile failed: an unknown

图像拼接后丢失数据 不仅是数据丢失了&#xff0c;还有个未知原因报错 部分数据存在值不存在的情况 原因 处理遥感数据很容易&#xff0c;磁盘爆满了 解决方案 清理一些无用数据&#xff0c;准备买个2T的外接硬盘用着了。 然后重新做处理...

编程日记 2023/10/6 0:58:47

Nginx之日志模块解读

目录 基本介绍 配置指令 access_log&#xff08;访问日志&#xff09; error_log&#xff08; 错误日志&#xff09; 基本介绍 Nginx日志主要分为两种&#xff1a;access_log(访问日志)和error_log(错误日志)。Nginx日志主要记录以下信息&#xff1a; 记录Nginx服务启动…...

编程日记 2023/10/6 0:57:46

latex方程组编写，一种可以保证方程编号自适应的方法

问题描述&#xff1a; 在利用latex编写方程组时&#xff0c;可以有很多种方法&#xff0c;但不总是编辑好的公式能够显示出编号&#xff0c;故提出一种有效的方程组编写方法 方法&#xff1a; \begin{equation}X_{ t1}\left \{ \begin{matrix}\frac{x_{i}}{a} \quad\quad 0&l…...

编程日记 2023/10/6 0:55:44

深度学习基础 2D卷积（1）

什么是2D卷积 2D参数量怎么计算 以pytorch为例子&#xff0c;2D卷积在设置的时候具有以下参数&#xff0c;具有输入通道的多少&#xff08;这个决定了卷积核的通道数量&#xff09;&#xff0c;滤波器数量&#xff0c;这个是有多少个滤波器&#xff0c;越多提取的特征就越有用…...

编程日记 2023/10/6 0:48:38

OpenCV DNN C++ 使用 YOLO 模型推理

OpenCV DNN C 使用 YOLO 模型推理 引言 YOLO&#xff08;You Only Look Once&#xff09;是一种流行的目标检测算法&#xff0c;因其速度快和准确度高而被广泛应用。OpenCV 的 DNN&#xff08;Deep Neural Networks&#xff09;模块为我们提供了一个简单易用的 API&#xff0…...

编程日记 2023/10/6 0:47:37

第八章 Linux文件系统权限

目录 8.1 文件的一般权限 1.修改文件或目录的权限---chmod命令 2.对于文件和目录&#xff0c;r&#xff0c;w&#xff0c;x有不同的作用&#xff1a; 3.修改文件或目录的所属主和组---chown,chgrp 8.2 文件和目录的特殊权限 三种通过字符描述文件权限 8.3 ACL 权限 1.A…...

编程日记 2023/10/6 0:46:36

XXL-JOB源码梳理——一文理清XXL-JOB实现方案

分布式定时任务调度系统 流程分析 一个分布式定时任务&#xff0c;需要具备有以下几点功能&#xff1a; 核心功能&#xff1a;定时调度、任务管理、可观测日志高可用&#xff1a;集群、分片、失败处理高性能&#xff1a;分布式锁扩展功能&#xff1a;可视化运维、多语言、任…...

编程日记 2023/10/6 0:45:36

java做个qq机器人

前置的条件 机器人是基于mirai框架实现的。根据官方的文档&#xff0c;建议使用openjdk11。 我这里使用的编辑工具是idea2023 在idea中新建一个maven项目&#xff0c;虽然可以使用gradle进行构建&#xff0c;不过我这里由于网络问题没有跑通。 pom.xml <dependency>&l…...

编程日记 2023/10/6 0:44:35

前端 | AjaxAxios模块

文章目录 1. Ajax1.1 Ajax介绍1.2 Ajax作用1.3 同步异步1.4 原生Ajax 2. Axios2.1 Axios下载2.2 Axios基本使用2.3 Axios方法 1. Ajax 1.1 Ajax介绍 Ajax: 全称&#xff08;Asynchronous JavaScript And XML&#xff09;&#xff0c;异步的JavaScript和XML。 1.2 Ajax作用 …...

编程日记 2023/10/6 0:43:33

高效的ProtoBuf

一、背景 Google ProtoBuf介绍 这篇文章我们讲了怎么使用ProtoBuf进行序列化&#xff0c;但ProtoBuf怎么做到最高效的&#xff0c;它的数据又是如何压缩的&#xff0c;下面先看一个例子&#xff0c;然后再讲ProtoBuf压缩机制。 二、案例 网上有各种序列化方式性能对比&#…...

编程日记 2023/10/6 0:42:33

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…...

编程新知 2025/10/28 2:05:10

多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度​

一、引言&#xff1a;多云环境的技术复杂性本质​​ 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时&#xff0c;​​基础设施的技术债呈现指数级积累​​。网络连接、身份认证、成本管理这三大核心挑战相互嵌套&#xff1a;跨云网络构建数据…...

编程新知 2025/10/27 3:03:22

SkyWalking 10.2.0 SWCK 配置过程

SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外&#xff0c;K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案&#xff0c;全安装在K8S群集中。 具体可参…...

编程新知 2025/8/23 5:51:08

云计算——弹性云计算器（ECS）

弹性云服务器&#xff1a;ECS 概述 云计算重构了ICT系统&#xff0c;云计算平台厂商推出使得厂家能够主要关注应用管理而非平台管理的云平台&#xff0c;包含如下主要概念。 ECS&#xff08;Elastic Cloud Server&#xff09;&#xff1a;即弹性云服务器&#xff0c;是云计算…...

编程新知 2025/8/16 21:50:27

学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1

每日一言 生活的美好&#xff0c;总是藏在那些你咬牙坚持的日子里。 硬件&#xff1a;OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写&#xff0c;"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

编程新知 2025/10/27 13:41:17

涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战

“&#x1f916;手搓TuyaAI语音指令 &#x1f60d;秒变表情包大师&#xff0c;让萌系Otto机器人&#x1f525;玩出智能新花样&#xff01;开整&#xff01;” &#x1f916; Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制&#xff08;TuyaAI…...

编程新知 2025/10/24 9:39:51

浪潮交换机配置track检测实现高速公路收费网络主备切换NQA

浪潮交换机track配置 项目背景高速网络拓扑网络情况分析通信线路收费网络路由 收费汇聚交换机相应配置收费汇聚track配置 项目背景 在实施省内一条高速公路时遇到的需求&#xff0c;本次涉及的主要是收费汇聚交换机的配置&#xff0c;浪潮网络设备在高速项目很少&#xff0c;通…...

编程新知 2025/10/25 12:25:19

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/10/18 13:32:22

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2025/10/24 15:54:24

Caliper 配置文件解析：fisco-bcos.json

config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...

编程新知 2025/10/24 15:14:02