当前位置: 首页 > news >正文

【MySQL】——数据库恢复技术

💻博主现有专栏:

                C51单片机(STC89C516),c语言,c++,离散数学,算法设计与分析,数据结构,Python,Java基础,MySQL,linux,基于HTML5的网页设计及应用,Rust(官方文档重点总结),jQuery,前端vue.js,Javaweb开发,Python机器学习等
🥏主页链接:

                Y小夜-CSDN博客

目录

🎯事务的基本概念

🎃事务

🎃事务的ACID特性

🎯数据库恢复概述

🎯故障的种类

🎃事务内部的故障

🎃系统故障

🎃介质故障

🎃计算机病毒

🎯恢复的实现技术

🎃  数据转储

✨静态转储与动态转储

✨海量转储与增量转储

🎃登记日志文件

✨日志文件的格式和内容

✨日志文件的作用

✨登记日志文件

🎯恢复策略

🎃事务故障的恢复

🎃系统故障的恢复

🎃 介质故障的恢复


🎯事务的基本概念

🎃事务

        事务(Transaction)是用户定义的一个数据库操作序列,这些操作要么全做,要么全不做,是一个不可分割的工作单位。

        事务和程序是两个概念

  • 在关系数据库中,一个事务可以是一条SQL语句,一组SQL语句或整个程序
  • 一个程序通常包含多个事务

        事务是恢复和并发控制的基本单位

事务结束

COMMIT

  • 事务正常结束
  •  提交事务的所有操作(读+更新)
  • 事务中所有对数据库的更新写回到磁盘上的物理数据库中

ROLLBACK

  • 事务异常终止
  • 事务运行的过程中发生了故障,不能继续执行
  • 系统将事务中对数据库的所有已完成的操作全部撤销
  • 事务滚回到开始时的状态

🎃事务的ACID特性

事务的ACID特性:

  • 原子性(Atomicity)
  • 一致性(Consistency)
  • 隔离性(Isolation)
  • 持续性(Durability )

原子性

  • 事务是数据库的逻辑工作单位
  • 事务中包括的诸操作要么都做,要么都不做

一致性

事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态

  • 一致性状态
    • 数据库中只包含成功事务提交的结果
  • 不一致状态
    • 数据库系统运行中发生故障,有些事务尚未完成就被迫中断;
    • 这些未完成事务对数据库所做的修改有一部分已写入物理数据库,这时数据库就处于一种不正确的状态

隔离性

  • 一个事务的执行不能被其他事务干扰
  • 一个事务内部的操作及使用的数据对其他并发事务是隔离的
  • 并发执行的各个事务之间不能互相干扰

持久性

  • 持续性也称永久性(Permanence)
  • 一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。
  • 接下来的其他操作或故障不应该对其执行结果有任何影响。

🎯数据库恢复概述

  • 故障是不可避免的
    • 计算机硬件故障
    • 软件的错误
    • 操作员的失误
    • 恶意的破坏
  • 故障的影响
    • 运行事务非正常中断,影响数据库中数据的正确性
    • 破坏数据库,全部或部分丢失数据

数据库的恢复

  • 数据库管理系统必须具有把数据库从错误状态恢复到某一已知的正确状态(亦称为一致状态或完整状态)的功能,这就是数据库的恢复管理系统对故障的对策
  • 恢复子系统是数据库管理系统的一个重要组成部分
  • 恢复技术是衡量系统优劣的重要指标

🎯故障的种类

🎃事务内部的故障

  • 有的是可以通过事务程序本身发现的
  • 有的是非预期的,不能由事务程序处理的。

事务内部更多的故障是非预期的,是不能由应用程序处理的。

  • 运算溢出
  • 并发事务发生死锁而被选中撤销该事务
  • 违反了某些完整性限制而被终止等  

  以后,事务故障仅指这类非预期的故障

事务故障意味着

  • 事务没有达到预期的终点(COMMIT或者显式的ROLLBACK)
  • 数据库可能处于不正确状态。

事务故障的恢复:事务撤消(UNDO)

  • 强行回滚(ROLLBACK)
  • 该事务撤销该事务已经作出的任何对数据库的修改,使得该事务象根本没有启动一样

🎃系统故障

称为软故障,是指造成系统停止运转的任何事件,使得 系统要重新启动。

系统故障的类型

  • 特定类型的硬件错误(如CPU故障)
  • 操作系统故障
  • 数据库管理系统代码错误
  • 系统断电

系统故障的影响

  • 整个系统的正常运行突然被破坏
  • 所有正在运行的事务都非正常终止
  • 不破坏数据库
  • 内存中数据库缓冲区的信息全部丢失

🎃介质故障

称为硬故障,指外存故障

  • 磁盘损坏
  • 磁头碰撞
  • 瞬时强磁场干扰

介质故障破坏数据库或部分数据库,并影响正在存取这部分数据的所有事务

介质故障比前两类故障的可能性小得多,但破坏性大得多

🎃计算机病毒

  •  一种人为的故障或破坏,是一些恶作剧者研制的一种计算机程序
  • 可以繁殖和传播,造成对计算机系统包括数据库的危害

计算机病毒种类

  • 小的病毒只有20条指令,不到50B
  • 大的病毒像一个操作系统,由上万条指令组成

计算机病毒的危害

  • 有的病毒传播很快,一旦侵入系统就马上摧毁系统
  • 有的病毒有较长的潜伏期,计算机在感染后数天或数月才开始发病
  • 有的病毒感染系统所有的程序和数据
  • 有的只对某些特定的程序和数据感兴趣

🎯恢复的实现技术

恢复机制涉及的关键问题

1. 如何建立冗余数据

  • 数据转储(backup)
  • 登记日志文件(logging)

2. 如何利用这些冗余数据实施数据库恢复

🎃  数据转储

        转储是指数据库管理员定期地将整个数据库复制到磁带、磁盘或其他存储介质上保存起来的过程

        备用的数据文本称为后备副本(backup)或后援副本

        数据库遭到破坏后可以将后备副本重新装入

        重装后备副本只能将数据库恢复到转储时的状态

        要想恢复到故障发生时的状态,必须重新运行自转储以后的所有更新事务

✨静态转储与动态转储

静态转储

  • 在系统中无运行事务时进行的转储操作
  • 转储开始时数据库处于一致性状态
  • 转储期间不允许对数据库的任何存取、修改活动
  • 得到的一定是一个数据一致性的副本

优点:

  • 实现简单

缺点:

  • 降低了数据库的可用性
  • 转储必须等待正运行的用户事务结束
  • 新的事务必须等转储结束

动态转储

  • 转储操作与用户事务并发进行
  • 转储期间允许对数据库进行存取或修改

优点

  • 不用等待正在运行的用户事务结束
  • 不会影响新事务的运行

动态转储的缺点

  • 不能保证副本中的数据正确有效

✨海量转储与增量转储

海量转储: 每次转储全部数据库

增量转储: 只转储上次转储后更新过的数据

海量转储与增量转储比较

  • 从恢复角度看,使用海量转储得到的后备副本进行恢复往往更方便
  • 如果数据库很大,事务处理又十分频繁,则增量转储方式更实用更有效

🎃登记日志文件

✨日志文件的格式和内容

什么是日志文件

  • 日志文件(log file)是用来记录事务对数据库的更新操作的文件

日志文件的格式

  • 以记录为单位的日志文件
  • 以数据块为单位的日志文件

以记录为单位的日志文件内容

  • 各个事务的开始标记(BEGIN TRANSACTION)
  • 各个事务的结束标记(COMMIT或ROLLBACK)
  • 各个事务的所有更新操作

✨日志文件的作用

用途

  • 进行事务故障恢复
  • 进行系统故障恢复
  • 协助后备副本进行介质故障恢复

具体作用

  • 事务故障恢复和系统故障恢复必须用日志文件。
  • 在动态转储方式中必须建立日志文件,后备副本和日志文件结合起来才能有效地恢复数据库。

✨登记日志文件

为保证数据库是可恢复的,登记日志文件时必须遵循两条原则

  • 登记的次序严格按并发事务执行的时间次序
  • 必须先写日志文件,后写数据库
    • 写日志文件操作:把表示这个修改的日志记录写到日志文件中
    • 写数据库操作:把对数据的修改写到数据库中

🎯恢复策略

🎃事务故障的恢复

事务故障:事务在运行至正常终止点前被终止

恢复方法

  • 由恢复子系统利用日志文件撤消(UNDO)此事务已对数据库进行的修改

事务故障的恢复由系统自动完成,对用户是透明的,不需要用户干预

事务故障的恢复步骤

(1) 反向扫描文件日志(即从最后向前扫描日志文件),查找该事务的更新操作。

(2) 对该事务的更新操作执行逆操作。即将日志记录中“更新前的值” 写入数据库。 插入操作, “更新前的值”为空,则相当于做删除操作 删除操作,“更新后的值”为空,则相当于做插入操作 若是修改操作,则相当于用修改前值代替修改后值

(3) 继续反向扫描日志文件,查找该事务的其他更新操作,并做同样处理。

(4) 如此处理下去,直至读到此事务的开始标记,事务故障恢复就完成了。

🎃系统故障的恢复

系统故障造成数据库不一致状态的原因

  • 未完成事务对数据库的更新可能已写入数据库
  • 已提交事务对数据库的更新可能还留在缓冲区没来得及写入数据库

恢复方法

1. Undo 故障发生时未完成的事务

2. Redo 已完成的事务

系统故障的恢复由系统在重新启动时自动完成,不需要用户干预

系统故障的恢复步骤

(1)正向扫描日志文件(即从头扫描日志文件)

  • 重做(REDO) 队列: 在故障发生前已经提交的事务
    • 这些事务既有BEGIN TRANSACTION记录,也有COMMIT记录
  • 撤销 (UNDO)队列:故障发生时尚未完成的事务
    •  这些事务只有BEGIN TRANSACTION记录,无相应的COMMIT记录

(2) 对撤销(UNDO)队列事务进行撤销(UNDO)处理

  • 反向扫描日志文件,对每个撤销事务的更新操作执行逆操作
  • 即将日志记录中“更新前的值”写入数据库  

(3)对重做(REDO)队列事务进行重做(REDO)处理

  • 正向扫描日志文件,对每个重做事务重新执行登记的操作
  • 即将日志记录中“更新后的值”写入数据库

🎃 介质故障的恢复

恢复步骤

(1) 装入最新的后备数据库副本(离故障发生时刻最近的转储副本) ,使数据库恢复到最近一次转储时的一致性状态。

  • 对于静态转储的数据库副本,装入后数据库即处于一致性状态
  • 对于动态转储的数据库副本,还须同时装入转储时刻的日志文件副本,利用恢复系统故障的方法(即REDO+UNDO),才能将数据库恢复到一致性状态。

(2) 装入有关的日志文件副本(转储结束时刻的日志文件副本) ,重做已完成的事务。

  • 首先扫描日志文件,找出故障发生时已提交的事务的标识,将其记入重做队列。
  • 然后正向扫描日志文件,对重做队列中的所有事务进行重做处理。即将日志记录中“更新后的值”写入数据库。

相关文章:

【MySQL】——数据库恢复技术

💻博主现有专栏: C51单片机(STC89C516),c语言,c,离散数学,算法设计与分析,数据结构,Python,Java基础,MySQL,linux&#xf…...

乡村景区一体化系统(门票,餐饮,便利店,果园,娱乐,停车收费

一、一体化优势 1. 提升游客体验:游客可以通过一个系统方便地完成各种消费和预订,无需在不同的地方分别处理,节省时间和精力,使游玩过程更加顺畅和愉快。 2. 提高管理效率:景区管理者能够在一个平台上集中管理多个业…...

从零开始的c++之旅——继承

1. 继承 1.继承概念及定义 继承是面向对象编程的三大特点之一,它使得我们可以在原有类特性的基础之上,增加方法 和属性,这样产生的新的类,称为派生类。 继承 呈现了⾯向对象程序设计的层次结构,以前我们接触的…...

电路知识的回顾

参考这个blog,快速回顾一些概念。 电路模型和规律 电路的概念 电路是电子学中的一个基本概念,它是由各种元件按照一定的方式连接起来形成的闭合路径,用来传输电流或电信号。在电路中,电流从电源的一端流出,通过导线…...

使用 `Celery` 配合 `RabbitMQ` 作为消息代理,实现异步任务的调度、重试、定时任务以及错误监控等功能

python基础代码、优化、扩展和监控的完整示例。此示例使用 Celery 配合 RabbitMQ 作为消息代理,实现异步任务的调度、重试、定时任务以及错误监控等功能。 项目结构 我们将项目结构组织如下,以便代码逻辑清晰且易于扩展: project/ │ ├──…...

react-router与react-router-dom的区别

写法上的区别: 写法1: import {Swtich, Route, Router, HashHistory, Link} from react-router-dom;写法2: import {Switch, Route, Router} from react-router; import {HashHistory, Link} from react-router-dom;react-router实现了路由的核心功能 react-router-…...

【研究生必看】把选题和文献交给AI,轻松搞定毕业论文!

在学习和研究的过程中,选题和文献录入真的是让人头疼的事情。面对一堆资料,很多时候我们会感到无从下手,甚至有点焦虑。不过,大家别担心!现在有了像“梅子AI论文”这样的工具,可以帮助我们轻松搞定这些问题…...

Android中同步屏障(Sync Barrier)介绍

在 Android 中,“同步屏障”(Sync Barrier)是 MessageQueue 中的一种机制,允许系统临时忽略同步消息,以便优先处理异步消息。这在需要快速响应的任务(如触摸事件和动画更新)中尤为重要。 在 An…...

真·香!深度体验 zCloud 数据库云管平台 -- DBA日常管理篇

点击蓝字 关注我们 zCloud 作为一款业界领先的数据库云管平台,通过云化自治的部署能力、智能巡检和诊断能力、知识即代码的沉淀能力,为DBA的日常管理工作带来了革新式的简化与优化。经过一周的深度体验,今天笔者与您深入探讨 zCloud 在数据库…...

优雅的遍历JSONArray,获取里面的数据

最近看到有个同事在遍历json数组的时候,用for循环写了一层有一层,那么是否有简便的写法呢?当然有了,下面就有用流的行驶,优雅的遍历数组,获取我们想要的数据 public static void main(String[] args) {Str…...

C#:强大而优雅的编程语言

在当今的软件开发领域,C#作为一种广泛应用的编程语言,以其强大的功能、优雅的语法和丰富的生态系统,受到了众多开发者的喜爱。本文将深入探讨 C#的各个方面,展示它的魅力和优势。 一、C#的历史与发展 C#是由微软公司开发的一种面…...

一个由Deno和React驱动的静态网站生成器

大家好,今天给大家分享一个由 Deno React 驱动的静态网站生成器Pagic。 项目介绍 Pagic 是一个由 Deno React 驱动的静态网站生成器。它配置简单,支持将 md/tsx 文件渲染成静态页面,而且还有大量的官方或第三方主题和插件可供扩展。 核心…...

Python pyautogui库:自动化操作的强大工具

在Python的众多强大库中, pyautogui库脱颖而出,成为了实现自动化操作的得力助手。它允许你通过编程控制鼠标和键盘操作,无论是进行自动化测试、创建宏,还是进行一些重复性的任务,pyautogui都能发挥巨大的作用。 一、安…...

【HTML】——VSCode 基本使用入门和常见操作

阿华代码,不是逆风,就是我疯 你们的点赞收藏是我前进最大的动力!! 希望本文内容能够帮助到你!! 目录 零:HTML开发工具VSCode的使用 1:创建项目 2:创建格式模板&#x…...

从0开始搭建一个生产级SpringBoot2.0.X项目(八)SpringBoot 使用Redis

前言 最近有个想法想整理一个内容比较完整springboot项目初始化Demo。 SpringBoot使用Redis 缓存数据 一、 pom引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId>&…...

Ubuntu20.04两种安装及配置中文界面、输入法、换源、共享文件夹实现,及注意事项

虚拟机安装法 1、新建虚拟机&#xff0c;自定义下一步 任意指定路径 提高处理器数量能加快系统响应 完成以后不要运行&#xff0c;添加镜像文件 导入镜像文件&#xff0c;点击浏览 选择后打开->确认->运行虚拟机 出现这种情况就需要检查虚拟机的配置&#xff0c;操作系统…...

后端Java学习:springboot之文件上传(阿里云OSS存储)

一、什么是阿里云存储&#xff1f; 阿里云对象存储OSS&#xff08;Object Storage Service&#xff09;&#xff0c;是一款海量、安全、低成本、高可靠的云存储服务。使用OSS&#xff0c;您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种文件。 二、阿里云…...

python通过lunarcalendar库使用农历日期

农历日期库 介绍 lunarcalendar是一个处理农历日期的库 可以简单通过pip安装&#xff1a;pip install lunarcalendar lunarcalendar的github地址 从公历转为农历 from lunarcalendar import Converter, Solarsolar Solar(2024, 11, 1) lunar Converter.Solar2Lunar(sola…...

MySQL高级--范式与反范式

MySQL高级–范式与反范式 1. 背景 首先让我们来简单了解什么是范式与反范式 如下有部门表&#xff08;包含&#xff1a;雇员、部门、部门领导&#xff09; EMPLOYEEDEPARTMENTHEADJonesAccountingJonesSmithEngineeringSmithBrownAccountingJonesGreenEngineeringSmith 我们…...

实验05多重循环---7-02 打印矩形图案

打印一个 m 行 n 列的字符 * 组成的矩形图案。 输入格式: 输入在一行中给出空格隔开的两个整数&#xff0c;分别表示行数 m 和列数 n&#xff0c;其中 m 和 n 分别满足 1≤m≤10&#xff0c;1≤n≤20。 输出格式: 由字符 * 组成的 m 行 n 列的矩形图案。 输入样例: 3 5 输出…...

明源地产ERP WFWebService.asmx 反序列化RCE漏洞复现

0x01 产品简介 明源地产ERP是一款专为房地产行业设计的企业资源规划(ERP)系统,系统集成了项目管理、财务管理、客户关系管理、营销管理等多个模块,旨在帮助房地产企业提升运营效率、降低成本和提高客户满意度。它充分考虑了房地产行业的特性和需求,通过整合企业的各个业务…...

学习笔记:黑马程序员JavaWeb开发教程(2024.11.4)

5.8 请求响应-请求-案例 数据保存在emp.xml文件中&#xff0c;解析XML的工具类XMLParserUtils&#xff0c;其中使用了dom4j的接口&#xff0c;因此要在pom.xml文件中引入dom4j的依赖&#xff0c;用于解析XML文件&#xff0c;实体类Emp用于封装服务器解析的数据 前端页面文件…...

开源自托管数据管理工具全面指南

在大数据时代&#xff0c;企业和组织面临着海量的数据挑战。随着应用程序复杂性的提高以及用户需求不断演变&#xff0c;开发团队需要高效地处理大量数据&#xff0c;以便快速做出决策。然而&#xff0c;在众多信息中&#xff0c;如何识别并有效利用那些对决策至关重要的数据呢…...

护工系统|护工陪护软件|护工系统设计

在现代社会&#xff0c;护工系统的开发成为提升医疗服务质量和效率的重要手段。页面设计作为系统开发的关键环节&#xff0c;必须充分考虑到实用性与用户体验。以下是对护工系统开发页面设计功能的详细阐述&#xff1a; 一、用户登录与权限管理 页面设计首先应设置用户登录模块…...

电商领域软件系统实战:基于TiDB的分布式数据库应用

在电商领域&#xff0c;数据的快速增长和复杂性对数据库系统提出了更高要求。TiDB作为一款开源的分布式数据库&#xff0c;以其兼容MySQL协议、水平扩展能力强、高可用性等特性&#xff0c;在电商系统中得到了广泛应用。本文将围绕TiDB在电商领域的应用&#xff0c;详细介绍其搭…...

鸢尾博客项目开源

1.博客介绍 鸢尾博客是一个基于Spring BootVue3 TypeScript ViteJavaFx的客户端和服务器端的博客系统。项目采用前端与后端分离&#xff0c;支持移动端自适应&#xff0c;配有完备的前台和后台管理功能。后端使用Sa-Token进行权限管理,支持动态菜单权限&#xff0c;服务健康…...

Google封号潮来袭!跨境卖家如何解封?

近期&#xff0c;不少小伙伴在苦苦哀嚎:Google账号又又又又被封啦&#xff01;对于跨境业务在线的小伙伴来说来说&#xff0c;是一个比较严重的问题。但不必过于担心&#xff0c;以下是一些可能的原因和相应的解决方法&#xff0c;耐心看完&#xff0c;也许对你的账号解封有帮助…...

路径规划 | ROS中多个路径规划算法可视化与性能对比分析

目录 0 专栏介绍1 引言2 禁用局部规划器3 路径规划定性对比实验3.1 加载路径规划器和可视化插件3.2 设置起点和终点3.3 选择规划器规划3.4 不同规划器对比3.5 路径保存和加载 4 路径规划定量对比实验4.1 计算规划耗时4.2 计算规划长度4.3 计算拓展节点数4.4 计算路径曲率4.5 计…...

使用 PyCharm 构建 FastAPI 项目:零基础入门 Web API 开发

使用 PyCharm 构建 FastAPI 项目&#xff1a;零基础入门 Web API 开发 本文提供了一份完整的 FastAPI 入门指南&#xff0c;涵盖从环境搭建、依赖安装到创建并运行一个简单的 FastAPI 应用的各个步骤。通过 FastAPI 和 Uvicorn&#xff0c;开发者可以快速构建现代化的 Web API…...

Prim算法与Dijstra算法

注&#xff1a;参考如下文章和视频 不能说毫不相干&#xff0c;简直是一模一样(Prim vs Dijkstra) 普里姆和迪杰斯特拉太像了&#xff0c;他们有什么区别&#xff1f; Prim算法和Dijkstra算法区别 文章目录 总结数组元素的更新两种算法的完整代码 普里姆算法算法步骤算法描…...