数据库事务处理技术——故障恢复
1. 数据故障恢复的宏观思路
我们知道DBMS是利用内存(主存)和外存(辅存)这样的存储体系进行数据库的管理,其中内存也就是我们常说的缓存是易失的。而事务时DBMS对数据库进行控制的基本单元,宏观上是由程序设置的一条或者多条SQL语句的一次执行;微观上是对数据元素的一系列基本操作,如读写等,需要提交(commit)和撤销(abort)。事务满足ACID特性,而故障恢复设计的是如何保证原子性和持久性,即故障恢复需要把DB由当前的不正确状态恢复到已知为正确的某一状态,要保证已经commit的事务要保持持久性,确保其保存到我们的外存永久存储介质上;未完成的事务为了保持一致性,恢复其至未事务开始前的状态。
- 原子性:事务的所有操作,要么全都执行,要么全都不执行。
- 持久性:提交的事务对数据库产生的影响是持久的,未提交的事务对数据库不应有影响。
注:DBMS中故障恢复程序约占10%。
实际遇到的故障类型及影响如下表所示。

| 故障类型 | 故障原因 | 影响范围 |
| 事务故障 | 某一个程序(事务)自身运行错误所引起的故障 | 影响该程序(事务)本身 |
| 系统故障 | 掉电、非正常关机等所引起的故障 | 影响正在运行的事务以及数据库缓冲区,数据库缓冲区将涉及正在运行和已经运行的事务 |
| 介质故障 | 由于介质损害等所引起的故障 | 影响是全面的,既影响内存中的数据,又影响介质中的存储数据 |
1.1 事务故障恢复思路
事务故障可通过重做事务(Redo)和撤销事务(Undo)来恢复。重做事务可保证提交事务的持久性,而撤销事务则消除未提交事务的影响
1.2 系统故障恢复思路
系统故障可通过运行日志(System Log)进行恢复。
运行日志是DBMS维护的一个文件,该文件以流水方式(速度很快)记录了每一个事务对数据库的每一次操作及顺序。当事务对数据库进行操作时:先写运行日志;写成功后,再将缓冲区信息刷到外存即磁盘上。当发生系统故障时,我们可以根据运行日志记录的事务操作顺序重做事务(当事务在发生故障时已经正确结束)或撤销事务(当事务在发生故障时未结束),但是这样我们遇到了一个问题,运行日志可能保留了很久的记录,我们应道从哪一个点开始恢复呢,为了解决该问题,提出了检查点(checkpoint)机制,检查点是这样的时刻:在该时刻,DBMS强制使内存DB Buffer中的内容与介质DB的内容保持一致。
进行系统故障恢复时:
检查点之前结束的事务不需要处理(已经写回DB介质);
检查点之后结束或发生的事务需要依据运行日志进行恢复(不能确定是否写回DB):故障点前结束的重做,故障点时刻未结束的撤销。
1.3 介质故障恢复思路

由于介质故障影响是全面的,发生该故障时首先需要用转储点的副本替换破坏的数据库,然后再根据运行日志进行恢复。
1.4 小结

2. 什么是日志
2.1 日志
日志是一个包含日志记录的只能追加的顺序文件夹,不同事务的日志交错存储,按发生时间存储。
发生系统故障时,使用日志进行恢复:
- 故障时已提交的事务,重做(Redo)
- 故障时未提交的事务,撤销(Undo)
日志涉及到设计元素和事务。

2.2 缓冲区策略
日志类型和缓冲区的策略相关,为了确定应何时将内存中的更改刷宝到磁盘上,数据库定义了steal/no-steal和force/no-force缓冲区策略。
缓冲区的处理策略主要有如下几种:根据是否允许在commit之前把内存中的数据写入磁盘中,分为 Steal / No steal策略;根据是否要求在commit点及之前将数据写入磁盘中,分为Force / No force 处理策略。
| Force | 内存中的数据最晚在commit的时候写入磁盘 |
| No force | 内存中的数据可以一直保留,在commit之后过一段时间再写入磁盘。(此时在系统崩溃的时候可能还没写入到磁盘,需要Redo)--灵活 |
| Steal | 允许在事务commit之前把内存中的数据写入磁盘。(此时若系统在commit之前崩溃时,已经有数据写入到磁盘了,要恢复到崩溃前的状态,需要Undo)--灵活 |
| No steal | 不允许在事务commit之前把内存中的数据写入磁盘。 |
2.3 缓冲区处理策略与日志/恢复策略的关系

3. 三种类型的运行日志
日志分三种类型,Undo型日志、Redo型日志、Undo/Redo型日志。






4. 小结


相关文章:
数据库事务处理技术——故障恢复
1. 数据故障恢复的宏观思路 我们知道DBMS是利用内存(主存)和外存(辅存)这样的存储体系进行数据库的管理,其中内存也就是我们常说的缓存是易失的。而事务时DBMS对数据库进行控制的基本单元,宏观上是由程序设…...
Java零基础之多线程篇:性能考虑篇
哈喽,各位小伙伴们,你们好呀,我是喵手。运营社区:C站/掘金/腾讯云;欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点,并以文字的形式跟大家一起交流,互相学习,一…...
CSP 初赛复习 :计算机网络基础
计算机网络的基础和网络的拓扑结构是计算机网络设计和实施的关键要素。 计算机网络的基础涉及多个方面,包括网络层协议(如IP、ICMP、IGMP等)、传输层协议(TCP、UDP等)以及应用层协议(…...
【Docker应用】快速搭建Plik服务结合内网穿透无公网IP远程访问传输文件
文章目录 前言1. Docker部署Plik2. 本地访问Plik3. Linux安装Cpolar4. 配置Plik公网地址5. 远程访问Plik6. 固定Plik公网地址7. 固定地址访问Plik 前言 本文介绍如何使用Linux docker方式快速安装Plik并且结合Cpolar内网穿透工具实现远程访问,实现随时随地在任意设…...
记录使用FlinkSql进行实时工作流开发
使用FlinkSql进行实时工作流开发 引言Flink SQL实战常用的Connector1. MySQL-CDC 连接器配置2. Kafka 连接器配置3. JDBC 连接器配置4. RabbitMQ 连接器配置5. REST Lookup 连接器配置6. HDFS 连接器配置 FlinkSql数据类型1. 基本数据类型2. 字符串数据类型3. 日期和时间数据类…...
韶音开放式耳机怎么样?韶音、西圣、QCY热门款实测横评
开放式耳机是目前最火爆的的耳机市场细分赛道,开放式耳机的优点包括健康卫生,佩戴舒适性高,方便我们接收外部环境音等等,以上这些优势使得开放式耳机特别适配户外运动场景,在工作、日常生活等场景下使用也是绰绰有余。…...
求值(河南萌新2024)
我真的服了,注意数据范围!!!!!!!!!!!!!!!!!!&#…...
【Linux】文件描述符 fd
目录 一、C语言文件操作 1.1 fopen和fclose 1.2 fwrite和fread 1.3 C语言中的输入输出流 二、Linux的文件系统调用 2.1 open和文件描述符 2.2 close 2.3 read 2.4 write 三、Linux内核数据结构与文件描述符 一、C语言文件操作 在C语言中我们想要打开一个文件并对其进…...
带通采样定理
一、采样定理 1.1 低通采样定理(奈奎斯特采样) 低通采样定理(奈奎斯特采样)是要求大于信号的最高上限频率的两倍 1.2 带通采样定理 带通信号的采样频率在某个时间小于采样频率也能无失真恢复原信号 二、频谱混叠 对一个连续时域信号,采…...
运维工作中的事件、故障排查处理思路
一、运维工作中的事件 https://www.51cto.com/article/687753.html 二、运维故障排查 一)故障排查步骤 1、明确故障 故障现象的直接表现故障发生的时间、频率故障发生影响哪些系统故障发生是否有明确的触发条件 故障举例:无法通过ssh登录系统 影响…...
深入源码P3C-PMD:使用流程(1)
PMD开源组件启动流程介绍 在软件开发领域,代码质量是项目成功的关键因素之一。为了提升代码质量,开发者们常常借助各种工具进行代码分析和检查。PMD作为一款开源的静态代码分析工具,在Java、JavaScript、PLSQL等语言项目中得到了广泛应用。本…...
java~反射
反射 使用的前提条件:必须先得到代表的字节码的Class,Class类用于表示.class文件(字节码) 原理图 加载完类后,在堆中就产生了一个Class类型的对象(一个类只有一个Class对象),这个对…...
【Linux】(26) 详解磁盘与文件系统:从物理结构到inode机制
目录 1.认识磁盘、 1.1 理论 1.2 磁盘的物理结构 CHS 寻址 1.3 磁盘的逻辑抽象结构 2. inode 结构 1.Boot Block 启动块 2.Super Block(超级块) 3.Group Descriptor Block(块组描述符) 4.Data Blocks (数据块) 5.Inode…...
8.1 字符串中等 43 Multiply Strings 38 Count and Say
43 Multiply Strings【默写】 那个难点我就没想先解决,原本想法是先想其他思路,但也没想出。本来只想chat一下使用longlong数据类型直接stoi()得不得行,然后就看到了答案,直接一个默写的大动作。但这道题确实考察的是还原乘法&…...
upload-labs靶场:1—10通关教程
目录 Pass-01(JS 验证) Pass-02(MIME) Pass-03(黑名单绕过) Pass-04(.htaccess 绕过) Pass-05(大小写绕过) Pass-06(空格绕过) …...
Hive3:一键启动、停止、查看Hive的metastore和hiveserver2两个服务的脚本(好用)
脚本内容 #!/bin/bash # 一键启动、停止、查看Hive的metastore和hiveserver2两个服务的脚本 function start_metastore {# 启动Hive metastore服务hive --service metastore >/dev/null 2>&1 &for i in {1..30}; doif is_metastore_running; thenecho "Hiv…...
遗传算法与深度学习实战——生命模拟及其应用
遗传算法与深度学习实战——生命模拟及其应用 0. 前言1. 康威生命游戏1.1 康威生命游戏的规则1.2 实现康威生命游戏1.3 空间生命和智能体模拟 2. 实现生命模拟3. 生命模拟应用小结系列链接 0. 前言 生命模拟是进化计算的一个特定子集,模拟了自然界中所观察到的自然…...
大数据|使用Apache Spark 删除指定表中的指定分区数据
文章目录 概述方法 1: 使用 Spark SQL 语句方法 2: 使用 DataFrame API方法 3: 使用 Hadoop 文件系统 API方法 4: 使用 Delta Lake使用注意事项常见相关问题及处理结论 概述 Apache Spark 是一个强大的分布式数据处理引擎,支持多种数据处理模式。在处理大型数据集时…...
OSPF动态路由协议实验
首先地址划分 一个骨干网段分成三个,r1,r2,r5三个环回网段 ,总共要四个网段 192.168.1.0/24 192.168.1.0/26---骨干网段 192.168.1.0/28 192.168.1.16/28 192.168.1.32/28 备用 192.168.1.64/28 192.168.1.64/26---r1环回 192.1…...
tcp中accept()的理解
源码 参数理解 NAMEaccept, accept4 - accept a connection on a socketSYNOPSIS#include <sys/types.h> /* See NOTES */#include <sys/socket.h>int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);#define _GNU_SOURCE …...
ThreadLocal 源码分析与内存泄漏问题
前言 ThreadLocal 是 Java 中实现线程局部变量的重要工具,被广泛应用于事务管理、链路追踪、用户上下文等场景。然而,面试中关于 ThreadLocal 的追问往往直指其底层设计和内存泄漏问题。 本文将深入分析 ThreadLocal 的源码实现,揭示内存泄…...
debian 更新内核后,nvidia 驱动突然不见了,处理
nvidia 驱动通常由 dkms 来构建 安装新内核后, 对应 linux-headers-amd64 没有安装到,导致 dkms 不为新内核 构建驱动 解决办法: apt update apt install linux-headers-amd64 它会自动为已有的内核安装 linux 头文件 然后 用命令 dpkg-recon…...
SYNBO AMA 回顾|当稳定币突破 3000 亿,一级的“钱”到底在往哪里流?
一、 聊了什么:背景与主题时间:2026 Mar 25 (Wed) 20:00 UTC8主题: Stablecoins Primary Market: The New Capital Stack Powering Global Payments in 2026在昨晚举行的一场围绕“稳定币、PayFi 与全球支付”的 AMA 中,SYNBO 与…...
SEO_避开这些常见误区让你的SEO效果事半功倍
<h2>SEO误区一:忽视关键词优化</h2> <p>在进行SEO优化时,关键词的选择和使用是至关重要的。很多人忽视了关键词优化,导致他们的网站在搜索引擎中的排名一直停滞不前。关键词不仅仅是为了让搜索引擎理解你的网站内容&#x…...
Adafruit DPS310传感器驱动库深度解析与嵌入式实践
1. Adafruit DPS310 压力传感器驱动库深度解析与工程实践 1.1 项目定位与硬件基础 Adafruit DPS310 是一款高精度、低功耗的数字气压/温度传感器,基于 Infineon(原 Bosch Sensortec)DPS310 芯片设计。该芯片采用 MEMS 技术,集成…...
从EWA Splatting到3DGS:一阶泰勒展开如何保住高斯的“椭圆”形状?
从EWA Splatting到3DGS:一阶泰勒展开如何保住高斯的“椭圆”形状? 在计算机图形学的演进历程中,三维高斯分布(3D Gaussian)的投影问题一直是个既基础又关键的挑战。想象一下,当你试图将一个完美的三维椭球投…...
带标注的交通工具分类数据集,17334张原始图片,识别率92.4%,可识别汽车,公共汽车,自行车,摩托车,支持yolo,coco json,pascal voc xml格式
带标注的交通工具分类数据集,17334张原始图片,识别率92.4%,可识别汽车,公共汽车,自行车,摩托车,支持yolo,coco json,pascal voc xml格式 模型训练指标参数: …...
开发者社区生存手册:从潜水到活跃贡献者的5个关键步骤
开发者社区生存手册:从潜水到活跃贡献者的5个关键步骤 在数字时代的代码丛林里,开发者社区如同一个个闪烁着智慧火光的营地。你可能已经加入了几十个Slack频道,关注了无数技术大牛的Twitter,在GitHub上star了上百个仓库࿰…...
CLIP-GmP-ViT-L-14入门指南:ViT-L-14主干网络结构与特征提取流程
CLIP-GmP-ViT-L-14入门指南:ViT-L-14主干网络结构与特征提取流程 1. 项目概述 CLIP-GmP-ViT-L-14是一个经过几何参数化(GmP)微调的CLIP模型,在ImageNet和ObjectNet数据集上能达到约90%的准确率。这个模型基于ViT-L-14(Vision Transformer Large 14)主干…...
告别盲调:用eBPF uprobe给Go/Python应用函数调用画张“热力图”(附libbpfgo实战代码)
深度剖析eBPF uprobe技术:为Go/Python应用构建动态函数热力图 在云原生与微服务架构盛行的今天,后端服务的性能调优一直是开发者面临的挑战。传统性能分析工具往往需要重启服务或修改代码,这在生产环境中几乎不可行。而eBPF技术的出现&#x…...
