Redis 数据恢复及持久化策略分析
在分布式系统中,Redis作为高性能的键值存储数据库,广泛应用于缓存、会话管理、消息队列等场景。对于Redis数据的可靠性,持久化是至关重要的一环。当Redis宕机时,如何恢复数据成为一个关键问题。这篇文章将详细分析Redis的数据恢复机制,持久化策略及其特点,并讨论选择持久化策略时需要考虑的因素。
一、Redis 数据恢复概述
Redis数据恢复的核心在于其持久化机制。如果没有配置持久化策略,Redis内存中的数据将无法恢复。因此,数据恢复的第一步是了解并配置合适的持久化策略。
二、Redis 持久化策略
Redis提供了两种主要的持久化策略:RDB(Redis DataBase)和 AOF(Append Only File)。
1. RDB 持久化
RDB 通过快照的方式将数据在某个时间点保存到磁盘中。具体机制如下:
触发条件:可以手动触发(如执行 SAVE 或 BGSAVE 命令)或自动触发(如配置定期保存)。
优点:
RDB 文件是紧凑的二进制文件,便于备份。
数据恢复速度快,适合大规模数据恢复。
缺点:
因为是定期保存,可能会丢失最近一次快照之后的数据。
快照过程中需要 fork 子进程,消耗一定的系统资源。
2. AOF 持久化
AOF 通过记录每次写操作日志来实现持久化。具体机制如下:
写入方式:每次写操作都会追加到 AOF 文件,可以配置三种写入频率:每秒写入、每次操作写入、操作系统控制(默认每秒)。
优点:
持久化的粒度更细,可以最大程度保证数据不丢失。
AOF 文件可读性好,便于分析和修复。
缺点:
AOF 文件相对较大,需要定期重写(重写机制会合并旧日志)。
恢复速度较慢,因为需要重新执行所有写操作。
三、详细解析 Redis AOF 持久化策略
在Redis的持久化策略中,AOF(Append Only File)由于其高数据安全性和可读性,受到了广泛的关注和使用。本节将详细探讨 AOF 持久化策略的工作机制、配置选项、性能优化及其在实际应用中的使用方法。
1.AOF 持久化的工作机制
AOF通过将每个写操作记录到日志文件中,实现对数据的持久化。其核心机制如下:
命令追加:每当有写操作(如SET、HSET等)发生时,Redis会将该操作记录追加到 AOF 文件的末尾。
文件同步:AOF文件的写入操作可以配置为不同的同步策略,以平衡数据安全性和性能。
文件重写:为了防止 AOF 文件无限增大,Redis 提供了 AOF 重写机制,将旧的操作日志合并为新的日志文件。
2. AOF 的配置选项
AOF 的配置主要集中在文件同步策略和重写机制上。关键配置选项包括:
1. appendonly:开启 AOF 持久化。
appendonly yes
2. appendfsync:控制 AOF 文件的同步频率,有三种策略:
always:每次写操作都立即同步到磁盘,确保数据不丢失,但性能开销最大。
everysec:每秒同步一次,数据和性能之间的平衡选择。
no:让操作系统决定何时同步,性能最好,但数据安全性最低。
appendfsync everysec
3. no-appendfsync-on-rewrite:在重写 AOF 文件期间,暂停 fsync 操作,以降低系统负载。
no-appendfsync-on-rewrite yes
4. auto-aof-rewrite-percentage 和 auto-aof-rewrite-min-size:控制何时触发 AOF 文件重写。
auto-aof-rewrite-percentage:当 AOF 文件大小超过上次重写后大小的一定百分比时,触发重写。
auto-aof-rewrite-min-size:AOF文件最小大小,达到此大小后才能触发重写。
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
3. AOF的性能优化
为了优化AOF的性能,可以从以下几个方面入手:
合理选择同步策略:appendfsync everysec是大多数场景下的最佳选择,可以在数据安全性和性能之间取得平衡。
AOF重写优化:在高写入量的应用中,AOF文件可能会快速增长,通过优化重写配置,可以降低系统负载。定期重写可以减少AOF文件的大小,提高恢复速度。
后台重写:Redis的AOF重写是一个后台操作,不会阻塞主线程。通过合理配置,确保重写过程对业务的影响最小。
4. AOF持久化的实际应用
在实际应用中,AOF持久化的配置需要根据业务需求进行调整。以下是一些最佳实践:
1.开启AOF持久化:对于需要高数据安全性的业务场景,建议默认开启 AOF 持久化。
appendonly yes
- 配置每秒同步:大多数情况下,appendfsync everysec是较优的选择,既保证了较高的数据安全性,又不会对性能造成太大影响。
appendfsync everysec
3.定期监控AOF文件:通过Redis提供的监控工具,定期检查AOF文件大小,确保及时进行重写,避免文件过大影响性能。
4.备份和恢复测试:定期进行备份和恢复测试,确保在实际故障发生时,可以迅速恢复数据,减少业务中断时间。
四、持久化策略选择
选择合适的持久化策略需要考虑多个方面:
数据安全性:如果业务对数据完整性要求高,AOF 更适合,因为它可以减少数据丢失的风险。
恢复速度:如果更看重恢复速度,RDB 是更好的选择,因为 RDB 文件加载速度快。
存储空间:RDB 文件比 AOF 文件更紧凑,适合存储空间有限的场景。
系统性能:RDB 的快照过程会消耗系统资源,而 AOF 的每次写操作可能影响性能,需要根据实际业务负载权衡。
五、总结
Redis的数据恢复依赖于其持久化策略。了解并合理配置RDB和AOF,可以在保证数据安全性的同时,提升系统的可靠性和性能。选择持久化策略时需要综合考虑数据安全性、恢复速度、存储空间和系统性能。通过合理的配置和优化,可以实现高效的数据恢复,保障业务的连续性和稳定性。
相关文章:
Redis 数据恢复及持久化策略分析
在分布式系统中,Redis作为高性能的键值存储数据库,广泛应用于缓存、会话管理、消息队列等场景。对于Redis数据的可靠性,持久化是至关重要的一环。当Redis宕机时,如何恢复数据成为一个关键问题。这篇文章将详细分析Redis的数据恢复…...
vscode 快捷键侧边栏
_____ 配置 vscode 快捷键 visual studio code - open explorer and close sidebar with the same key - Stack Overflow { "key": "ctrlshifte", // when Explorer not open // "command": "workbench.view.explorer", // either…...
FreeRTOS:1、任务通知vTaskNotifyGiveFromISR保证实时性
文章目录 背景解释意义 背景 首先,我们看以下代码: #include "FreeRTOS.h" #include "task.h"TaskHandle_t s_task_handle NULL;void vTaskFunction(void *pvParameters) {for (;;) {// 等待通知ulTaskNotifyTake(pdTRUE, portMA…...
监督学习:从数据中学习预测模型的艺术与科学
目录 引言 一、监督学习的基本概念 1、数据集 2、特征 3、标签 4、模型 二、监督学习的原理和方法 1、基本原理 2、常用方法 三、监督学习的定义与分类 1、 定义 2.、分类 四、为什么是监督学习? 1、 明确的学习目标 2、高准确率 3、易于评估 4、 …...
深入理解Java虚拟机(JVM)中的垃圾回收器
垃圾回收(Garbage Collection, GC)是现代编程语言中用于管理内存的重要机制,特别是在Java虚拟机(JVM)中。 它的基本原理是自动检测和释放不再被程序使用的内存,以避免内存泄漏和提高程序执行效率。 1.GC的基…...
视频集市新增支持多格式流媒体拉流预览
流媒体除了常用实时流外还有大部分是以文件的形式存在,做融合预览必须要考虑多种兼容性能力,借用现有的ffmpeg生态可以迅速实现多种格式的支持,现在我们将按需拉流预览功能进行了拓展,正式支持了ffmpeg的功能,可快捷方…...
定时器-前端使用定时器3s轮询状态接口,2min为接口超时
背景 众所周知,后端是处理不了复杂的任务的,所以经过人家的技术讨论之后,把业务放在前端来实现。记录一下这次的离大谱需求吧。 如图所示,这个页面有5个列表,默认加载计划列表。但是由于后端的种种原因,这…...
python实践笔记(二): 类和对象
1. 写在前面 最近在重构之前的后端代码,借着这个机会又重新补充了关于python的一些知识, 学习到了一些高效编写代码的方法和心得,比如构建大项目来讲,要明确捕捉异常机制的重要性, 学会使用try...except..finally&…...
指定GPU跑模型
加上一个CUDA_VISIBLE_DEVICES0,2就行了,使用0卡和2卡跑模型,注意多卡有时候比单卡慢,4090无NVlink,数据似乎是通过串行的方式传输到多个gpu的,只不过单个gpu是并行计算,数据在gpu与gpu之间似乎是串行传输的…...
Windows桌面运维----第五天
1、华为路由怎们配置IP、划分vlan、互通: 1、用户模式→系统模式; 2、进入相关端口,配置IP地址; 3、开通相应vlan,设置vlanX、IP地址; 4、绑定相关端口,设置端口类型; 5、电脑设置IP&#…...
bash和dash的区别(及示例)
什么是bash、dash Bash(GNU Bourne-Again Shell)是许多Linux平台的内定Shell,事实上,还有许多传统UNIX上用的Shell,像tcsh、csh、ash、bsh、ksh等等。 GNU/Linux 操作系统中的 /bin/sh 本是 bash (Bourne-Again Shell) 的符号链接࿰…...
Java基础入门day65
day65 web项目 页面设计 仿照小米官网,将首页保存到本地为一个html页面,再将html页面保存为jsp页面,在项目中的web.xml文件中配置了欢迎页 <welcome-file-list><welcome-file>TypesServlet</welcome-file> </welcome-…...
解密制度的规定和解密工作的具体流程
解密制度是指对于某些敏感的文件或资料,经过一定的时间后,根据相关规定和程序,可以进行解密,解除文件的保密状态,使其可以被公众查阅或利用。解密制度的目的在于确保涉密信息的保密等级与其重要程度相适应,防止涉密信息的泄露和使用不当,同时促进信息公开、传播历史知识…...
实际中常用的网络相关命令
一、ping命令 ping是个使用频率极高的实用程序,主要用于确定网络的连通性。这对确定网络是否正确连接,以及网络连接的状况十分有用。 简单的说,ping就是一个测试程序,如果ping运行正确,大体上就可以排除网络访问层、网…...
机器学习补充
一、数据抽样 数据预处理阶段:对数据集进行抽样可以帮助减少数据量,加快模型训练的速度/减少计算资源的消耗,特别是当数据集非常庞大时,比如设置sample_rate0.8.平衡数据集:通过抽样平衡正负样本,提升模型…...
机器学习——RNN、LSTM
RNN 特点:输入层是层层相关联的,输入包括上一个隐藏层的输出h1和外界输入x2,然后融合一个张量,通过全连接得到h2,重复 优点:结构简单,参数总量少,在短序列任务上性能好 缺点&#x…...
Java项目学习(员工管理)
新增、员工列表、编辑员工整体代码流程与登录基本一致。 1、新增员工 RestController RequestMapping("/admin/employee")EmployeeController 类中使用了注解 RestController 用于构建 RESTful 风格的 API,其中每个方法的返回值会直接序列化为 JSON 或…...
视觉SLAM14精讲——相机与图像3.3
视觉SLAM14精讲 三维空间刚体运动1.0三维空间刚体运动1.1三维空间刚体运动1.2李群与李代数2.1相机与图像3.1相机与图像3.2 视觉SLAM14精讲——相机与图像3.3 视觉SLAM14精讲相机投影流程双目相机模型 相机投影流程 至此,有关相机三维刚体变换的所有因素已经汇集。…...
【路径规划】基于粒子群结合遗传算法实现机器人栅格地图路径规划
研究方法: 基于粒子群优化算法结合遗传算法的机器人栅格地图路径规划是一种智能算法的应用。它将粒子群优化算法和遗传算法相结合,以寻找最优路径规划解决方案。 研究路线: 理论研究:了解粒子群优化算法和遗传算法的基本原理,并掌握相关的路径规划理论知识。 算法设计:…...
内容安全复习 9 - 身份认证系统攻击与防御
文章目录 基于生物特征的身份认证系统概述基于生物特征的身份认证 人脸活体检测检测方法未解决问题 基于生物特征的身份认证系统概述 作用:判别用户的身份、保障信息系统安全。 是识别操作者身份的过程,要保证其**物理身份(现实࿰…...
Linux 文件类型,目录与路径,文件与目录管理
文件类型 后面的字符表示文件类型标志 普通文件:-(纯文本文件,二进制文件,数据格式文件) 如文本文件、图片、程序文件等。 目录文件:d(directory) 用来存放其他文件或子目录。 设备…...
Appium+python自动化(十六)- ADB命令
简介 Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具,其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利,如安装和调试…...
STM32+rt-thread判断是否联网
一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...
【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 初始化服务器)
服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...
CentOS下的分布式内存计算Spark环境部署
一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架,相比 MapReduce 具有以下核心优势: 内存计算:数据可常驻内存,迭代计算性能提升 10-100 倍(文档段落:3-79…...
srs linux
下载编译运行 git clone https:///ossrs/srs.git ./configure --h265on make 编译完成后即可启动SRS # 启动 ./objs/srs -c conf/srs.conf # 查看日志 tail -n 30 -f ./objs/srs.log 开放端口 默认RTMP接收推流端口是1935,SRS管理页面端口是8080,可…...
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决 问题背景 在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中,新增了一个本地验证码接口 /code,使用函数式路由(RouterFunction)和 Hutool 的 Circle…...
【数据分析】R版IntelliGenes用于生物标志物发现的可解释机器学习
禁止商业或二改转载,仅供自学使用,侵权必究,如需截取部分内容请后台联系作者! 文章目录 介绍流程步骤1. 输入数据2. 特征选择3. 模型训练4. I-Genes 评分计算5. 输出结果 IntelliGenesR 安装包1. 特征选择2. 模型训练和评估3. I-Genes 评分计…...
【无标题】路径问题的革命性重构:基于二维拓扑收缩色动力学模型的零点隧穿理论
路径问题的革命性重构:基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中(图1): mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...
前端中slice和splic的区别
1. slice slice 用于从数组中提取一部分元素,返回一个新的数组。 特点: 不修改原数组:slice 不会改变原数组,而是返回一个新的数组。提取数组的部分:slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...
