【Redis进阶】持久化
一、MySQL事务特性及Redis持久化需求
(一)MySQL事务特性
MySQL的事务具有四大核心特性,这些特性对于保证数据库操作的准确性和可靠性至关重要。
- 原子性:事务中的所有操作要么全部成功,要么全部失败,不会出现部分操作成功的情况。[+例如,在银行转账操作中,从一个账户扣款和向另一个账户加款这两个操作必须作为一个整体执行,要么都成功,要么都失败,以确保账户余额的正确性。
- 一致性:事务执行前后,数据库必须处于一致的状态,数据的完整性得到保证。[+比如,在电商系统中,用户下单后,库存数量应相应减少,订单状态应变为已支付,这些数据的变化必须保持一致。
- 持久性(持久化):事务提交后,其结果是永久性的,即使系统崩溃也不会丢失。[+以电商平台的订单支付为例,一旦用户支付成功,该笔交易记录就会被永久保存,不会因为系统故障而丢失。]
- 隔离性:多个事务并发执行时,相互之间不干扰,保证数据的独立性。[+例如,在电商系统中,多个用户同时下单购买同一件商品,系统应能正确处理这些并发事务,确保每个用户的订单都能正确生成,不会出现数据混乱的情况。
(二)Redis持久化需求
MySQL的数据存储在硬盘中,天然支持持久化。而Redis的数据存储在内存中,这就需要特殊的持久化策略来实现数据的持久化存储。
解决方法:当数据存储到内存时,复制一份同时存到硬盘中。当进程/主机重启时,从硬盘中读取数据写入内存中,这样就实现了数据的持久化存储。理论上来说,内存与硬盘中的数据是完全相等的,但有部分差异,这取决于不同的持久化策略。
代价:付出了额外的空间。不过硬盘资源比较划算,并不会增加很多的成本。
二、Redis持久化策略
(一)RDB(Redis DataBase)
1. 手动触发RDB快照
- save命令:执行
save
命令时,Redis会全力以赴地进行快照操作,期间会阻塞其他Redis操作。这种方式的优点是简单直接,适用于对数据一致性要求极高,且可以接受短暂阻塞的场景。例如,在进行重要数据的备份时,可以使用save
命令确保数据的完整性。 - bgsave命令:
bgsave
命令会在后台异步执行快照操作,不会影响Redis服务器处理其他客户端的请求和操作。[+它通过fork系统调用创建子进程来实现持久化,利用“写时拷贝”技术减少内存消耗。当Redis服务器中存储的数据量较大时,使用bgsave
命令可以避免阻塞其他操作,提高系统的性能和可用性。
2. 自动触发RDB快照
- 可以通过修改Redis配置文件来设置自动触发的条件,如在指定时间内达到一定数量的写操作。例如,可以设置在1分钟内如果有超过1000次写操作,则自动触发RDB快照。这样可以定期对数据进行备份,确保数据的安全性。
- 执行
shutdown
命令时,Redis会在关闭前自动执行快照操作(正常关闭)。这样可以在服务器关闭时,确保最新的数据被保存下来,避免数据丢失。 - 在主从节点复制时,主节点会自动触发快照操作,将快照文件内容传输给从节点。这样可以保证主从节点之间的数据一致性,使得从节点能够及时获取到最新的数据。
3. RDB文件相关操作与查看
-
bgsave流程:
- 创建子进程进行持久化操作,生成快照到一个新文件,并替换原来的旧文件。
- 如果使用
save
操作,则在同一个进程中往同一个文件中写入。
-
查看快照更新:如果仅查看文件内容可能无法判断是否更新,此时可通过
stat (快照文件名)
命令查看快照文件的inode编号来确定文件是否不同。inode编号是文件系统中用于标识文件的唯一编号,当文件内容发生变化时,inode编号通常也会改变。因此,通过比较inode编号可以快速判断文件是否被更新。 -
Linux文件系统区域划分:
区域 描述 超级块 存储文件系统的元信息 inode 区 存储文件的元数据 block 区 存储文件的数据内容
4. RDB优缺点
RDB的优点是生成的文件紧凑,适合备份和灾难恢复;缺点是可能会丢失最近一次快照以来的数据。例如,如果在12:00进行了RDB快照操作,而在12:01服务器重启,那么在这1分钟内产生的数据将会丢失。
(二)AOF(Append Only File)
1. AOF开启与RDB失效
AOF在默认情况下是关闭的,需要在配置文件中打开。打开后,RDB将不生效,Redis重启时会从aof文件中读取数据到内存中。
2. AOF写入机制与性能影响
- AOF每次操作都以文本形式记录,细节由特殊分隔符分开。
- 引入AOF后,虽增加硬盘操作,但通过缓冲区和顺序写入优化性能。AOF采用顺序写入的方式,相比随机写入,可以大大提高写入性能。同时,通过缓冲区的设计,可以减少对硬盘的直接写入次数,进一步提高系统的性能。
3. AOF刷新策略
- always配置:每次写操作都同步到硬盘,数据最安全但性能最低。在这种配置下,每次写操作都会立即写入硬盘,确保数据的实时性和安全性。但是,由于频繁的磁盘I/O操作,会对系统性能产生较大的影响。
- everysec配置:每秒同步一次,兼顾性能和数据安全。[+这种配置方式在性能和数据安全之间取得了平衡。每秒将缓冲区中的数据写入硬盘一次,既可以保证数据的及时性,又不会对系统性能造成过大的影响。
- no配置:由操作系统决定何时同步,性能最高但数据安全性最低。在这种配置下,Redis会将写操作先缓存在内存中,由操作系统决定何时将数据写入硬盘。这种方式可以提高系统的性能,但是在系统崩溃或断电等情况下,可能会导致数据丢失。
4. AOF文件瘦身机制
- 手动触发重写:程序员可手动执行重写操作。例如,当发现AOF文件过大时,可以通过手动触发重写来减小文件大小。
- 被动触发重写:当aof文件达到一定大小时自动触发。例如,可以设置在AOF文件大小超过1GB时,自动触发重写操作。这样可以避免AOF文件过大导致的性能问题。
- 重写流程:
- 父进程fork子进程,子进程负责写入新aof文件。
- 父进程继续接收请求,写入两个缓冲区,一个用于旧aof文件,另一个用于新aof文件。
- 新aof文件完成后替换旧文件。
相关文章:
【Redis进阶】持久化
一、MySQL事务特性及Redis持久化需求 (一)MySQL事务特性 MySQL的事务具有四大核心特性,这些特性对于保证数据库操作的准确性和可靠性至关重要。 原子性:事务中的所有操作要么全部成功,要么全部失败…...

[docker基础一]docker简介
目录 一 消除恐惧 1) 什么是虚拟化,容器化 2)案例 3)为什么需要虚拟化,容器化 二 虚拟化实现方式 1)应用程序执行环境分层 2)虚拟化常见类别 3)常见虚拟化实现 一)主机虚拟化(虚拟机)实现 二)容器虚拟化实现 一 消除恐…...

Texify - 数学公式OCR转换工具
文章目录 一、项目概览相关资源核心特性 二、安装指南三、使用示例1、命令行转换2、Python API调用3、交互式应用 四、性能基准运行你自己的基准测试 五、局限性 一、项目概览 Texify 是一个OCR模型,可将包含数学公式的图片或PDF转换为Markdown和LaTeX格式…...

RISC-V CLINT、PLIC及芯来ECLIC中断机制分析 —— RISC-V中断机制(一)
在长期的嵌入式开发实践中,对中断机制的理解始终停留在表面层次,特别当开发者长期局限于纯软件抽象层面时,对中断机制的理解极易陷入"知其然而不知其所以然"的困境,这种认知的局限更为明显;随着工作需要不断…...
时钟晶振锁相环pll方向技术要点和大厂题目解析
本专栏预计更新60期左右。当前第9期。 本专栏不仅适用于硬件的笔试面试,同样也适用于梳理硬件核心的知识点。 通过本文能得到什么? 首先,根据实战经验总结时钟晶振,锁相环的主要知识点,技术要点,面试考点; 然后,列出时钟晶振,锁相环的笔试面试的主要题型真题和模拟题,…...
图像处理篇--- HTTP|RTSP|MJPEG视频流格式
文章目录 前言一、MJPEG (Motion JPEG)基本概念技术特点编码方式传输协议数据格式 优势实现简单低延迟兼容性好容错性强 劣势带宽效率低不支持音频缺乏标准控制 典型应用 二、RTSP (Real Time Streaming Protocol)基本概念技术特点协议栈工作流程传输模式 优势专业流媒体支持高…...
【Harbor v2.13.0 详细安装步骤 安装证书启用 HTTPS】
Harbor v2.13.0 详细安装步骤(启用 HTTPS) 1. 环境准备 系统要求:至少 4GB 内存,100GB 磁盘空间。 已安装组件: Docker(版本 ≥ 20.10)Docker Compose(版本 ≥ v2.0) 域…...
C++中的static_cast:类型转换的安全卫士
C中的static_cast:类型转换的安全卫士 在C编程中,类型转换是不可避免的操作,而static_cast作为C四大强制类型转换运算符之一,是最常用且相对安全的一种转换方式。今天我们就来深入探讨一下这个重要的类型转换工具。 一、static_…...

开源与商业:图形化编程工具的博弈与共生
一、开源生态的破局之路:从技术实验到行业标准 在 2025 年全球开发者生态大会上,iVX 凭借 “全栈代码生成 AI 驱动开发” 的技术架构,被行业权威机构评选为 “年度技术创新典范”。作为 2012 年启动的开源项目,iVX 历经 17 年技…...
Docker + Watchtower 实现容器自动更新:高效运维的终极方案
文章目录 前言一、Watchtower 简介二、Watchtower 安装与基本使用1. 快速安装 Watchtower2. 监控特定容器 三、Watchtower 高级配置1. 设置检查间隔2. 配置更新策略3. 清理旧镜像4. 通知设置 四、生产环境最佳实践1. 使用标签控制更新2. 更新前执行健康检查3. 结合CI/CD流水线 …...

(二)Linux下基本指令 2
【知识预告】 16. date 指令 17. cal 指令 18. find 指令 19. which指令 20. whereis 指令 21. alias 指令 22. grep 指令 23. zip/unzip 指令 24. tar 指令 25. bc 指令 26. uname ‒r 指令 27. 重要的⼏个热键 28. 关机 16 date 指令 指定格式显⽰时间:date %Y-…...
1 2 3 4 5顺序插入,形成一个红黑树
红黑树的特性与优点 红黑树是一种自平衡的二叉搜索树,通过额外的颜色标记和平衡性约束,确保树的高度始终保持在 O(log n)。其核心特性如下: 每个节点要么是红色,要么是黑色。根节点和叶子节点(NIL节点)是…...

无线网络设备中AP和AC是什么?有什么区别?
无线网络设备中AP和AC是什么?有什么区别? 一. 什么是AP?二. 什么是AC?三. AP与AC的关系 前言 肝文不易,点个免费的赞和关注,有错误的地方请指出,看个人主页有惊喜。 作者:神的孩子都…...

Web自动化测试入门详解
🍅 点击文末小卡片,免费获取软件测试全套资料,资料在手,涨薪更快 一、目的 web自动化测试作为软件自动化测试领域中绕不过去的一个“香饽饽”,通常都会作为广大测试从业者的首选学习对象,相较于C/S架…...
WHAT - 简单服务发现
文章目录 简单理解举个例子简单服务发现方式1. 静态配置(最简单,但不灵活)2. DNS 发现3. 使用服务注册中心(稍高级) 总结 “简单服务发现”(Simple Service Discovery)通常指的是一种让系统中的…...

uniapp+vue3+firstUI时间轴 提现进度样式
展示 说明:“status”: 0, //状态:0待审核,1审核通过,2审核驳回,3提现成功,4提现失败 第一种:5种类型归纳为三种显示样式 <fui-timeaxis background"#fff" :padding"[10rpx,16rpx,0]"><!-- 动态生成步骤节点 --><f…...

【日撸 Java 三百行】Day 10(综合任务 1)
目录 Day 10:综合任务 1 一、题目分析 1. 数据结构 2. 相关函数基本知识 二、模块介绍 1. 初始化与成绩矩阵的构建 2. 创建总成绩数组 3. 寻找成绩极值 三、代码与测试 小结 拓展:关于求极值的相关算法 Day 10:综合任务 1 Task&…...
VR 南锣鼓巷:古老街区的数字化绘卷与沉浸式遨游
VR 技术,即虚拟现实技术,是一种能够创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境,通过多源信息融合的交互式三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中,产生身临其境的感受 。简单…...
使用Java NIO 实现一个socket通信框架
使用Java NIO(非阻塞I/O)实现一个Socket通信框架,可以让你构建高性能的网络应用。NIO提供了Channel、Buffer和Selector等核心组件,支持非阻塞模式下的网络编程。下面是一个简单的例子,展示了如何使用Java NIO创建一个基本的服务器端和客户端进行Socket通信。 1.服务器端 …...
Android开发-常用布局
在Android应用开发中,布局决定了用户界面的结构和元素之间的相对位置。选择合适的布局不仅能够提升用户体验,还能提高代码的可维护性和灵活性。本文将介绍几种最常用的Android布局方式,包括LinearLayout、RelativeLayout、ConstraintLayout以…...

macOS 15.4.1 Chrome不能访问本地网络
前言 最近使用macmini m4,自带macOS15系统,对于开发者简直是一言难尽,Chrome浏览器的本地网络有bug,可以访问本机,但是不能访问路由器上的其他机器,路由器提供的页面也不能访问,如下是折腾解决…...

【Hive入门】Hive增量数据导入:基于Sqoop的关系型数据库同步方案深度解析
目录 引言 1 增量数据导入概述 1.1 增量同步与全量同步对比 1.2 增量同步技术选型矩阵 2 Sqoop增量导入原理剖析 2.1 Sqoop架构设计 2.2 增量同步核心机制 3 Sqoop增量模式详解 3.1 append模式(基于自增ID) 3.2 lastmodified模式(基…...

Dify使用总结
最近完成了一个Dify的项目简单进行总结下搭建服务按照官方文档操作就行就不写了。 进入首页之后由以下组成: 探索、工作室、知识库、工具 探索: 可以展示自己创建的所有应用,一个应用就是一个APP,可以进行测试使用 工作室包含…...

MATLAB导出和导入Excel文件表格数据并处理
20250507 1.MATLAB使用table函数和writetable函数将数据导出Excel表格文件 我们以高斯函数为例子,高斯函数在数学和工程领域有着广泛的应用,它的一般形式为: 其中是均值,决定了函数的中心位置; 是标准差,决…...

分书问题的递归枚举算法
分数问题的递归枚举算法 一、问题引入二、解题步骤1.问题分析思维导图2.解题步骤 三、代码实现1.代码2.复杂度分析 四、个人总结 一、问题引入 分书问题是指:已知 n 个人对 m 本书的喜好(n≤m),现要将 m 本书分给 n 个人…...

Unity WebGL、js发布交互
官网参考 Unity3D开发之WebGL平台上 unity和js前端通信交互 WebFun.jslib mergeInto(LibraryManager.library, {JSLog: function (str) { var strsUTF8ToString(str); Log(str); Log(strs);}, Hello: function () {var strs"Hello, world!"; Log(strs); Log(UTF8ToS…...

Linux复习笔记(一)基础命令和操作
遇到的问题,都有解决方案,希望我的博客能为你提供一点帮助。 一、Linux中的基础命令和操作(约30%-40%) 1.用户和组(5%左右) 1.1用户简介(了解) 要求:了解,知道有三个用户…...
解决Ceph 14.2.22 Nautilus版本监视器慢操作问题的实践指南
解决Ceph Nautilus版本监视器慢操作问题的实践指南 问题背景问题现象问题分析1. 确认监视器状态2. 检查慢操作详情3. 深入分析操作状态 问题原因解决方案立即解决方法 总结 在生产环境中执行任何操作前,请确保已备份重要数据,并在测试环境中验证解决方案…...
神经网络开发实战:从零基础到企业级应用(含CNN、RNN、BP网络代码详解)
简介 神经网络作为深度学习的核心,正在成为现代AI应用的基石。从基础的感知机到复杂的Transformer架构,从图像识别到自然语言处理,神经网络技术的演进推动了人工智能的快速发展。本文将系统介绍神经网络的核心概念、主流模型及其实现原理,并通过三个企业级实战案例(医学图…...

uniapp使用ui.request 请求流式输出
正文: 在现代Web开发中,实时数据流和长时间运行的请求变得越来越常见,尤其是在处理大量数据或进行实时通信时。在这种情况下,uniapp 提供的 ui.request 请求方法可以帮助我们轻松实现流式输出请求。本文将介绍如何使用 uni.reques…...