redis--持久化
redis持久化
在 Redis 中,持久化是一种将数据从内存写入到磁盘的机制,以便在服务器重启或崩溃时能够恢复数据。Redis 提供了两种主要的持久化方式:RDB(Redis Database Snapshot)和AOF(Append-Only File)。
RDB
RDB是Redis的一种持久化方式,用于将内存中的数据保存到硬盘,以防止数据在重启时丢失。它通过在指定的时间间隔内创建一个数据集的快照(或者快照文件),将其保存到磁盘上的二进制文件中。RDB持久化的主要目标是提供一种紧凑、高效、可靠的数据备份和恢复方式。
RDB 持久化流程
-
生成快照触发
手动触发: 可以使用SAVE或BGSAVE命令手动触发RDB快照生成。- SAVE命令:阻塞主线程,直到快照生成完成,期间Redis无法响应其他请求,不推荐使用。
- BGSAVE命令:在后台异步生成快照,不阻塞其他操作,更常用。
自动触发: 可以通过配置文件自动设置生成快照的时间间隔和阈值,当满足条件时自动触发生成快照。
-
生成快照过程
在如BGSAVE命令触发时,Redis会创建一个子进程(fork),该子进程将负责生成快照。子进程将内存中的数据复制到一个临时文件(临时RDB文件)中,以保证不干扰主进程的正常操作。 -
快照文件替换:
子进程完成快照生成后,快照文件会被重命名并替换上次生成的持久化文件。新生成的快照文件(dump.rdb)将备份在redis.conf中dir 配置项所指定的目录。如果默认开启了rdb,加载是也是从该路径加载快照文件,可以在redis.conf中修改dir路径。 -
数据恢复
使用备份的快照文件替换现有的RDB文件,当Redis服务器需要恢复数据时(比如重启后),它会加载最新的RDB文件。
RDB 持久化优缺点
RDB 持久化方式有以下几个优点:
- RDB 文件是一个紧凑且完整的数据集备份,可以用于灾难恢复或迁移。
- RDB 文件是一个二进制文件,加载速度比 AOF 文件更快。
- RDB 文件占用更少的磁盘空间,因为它只保存当前数据库状态,并且使用了压缩算法。
- RDB 文件对服务器性能影响较小,因为它只需要 fork 一个子进程来生成快照,并且不需要频繁地写入磁盘。
RDB 持久化方式也有以下几个缺点:
- RDB 文件不能保证数据完全不丢失,在两次生成快照之间发生故障时,可能会导致部分数据丢失。
- RDB 文件生成需要 fork 一个子进程,这会消耗一定的内存和CPU资源,如果数据集很大,可能会影响服务器的响应速度。
- RDB 文件恢复时,需要清空内存中的数据,然后重新加载 RDB 文件,这会导致服务器在一段时间内无法提供服务。
RDB 持久化适用场景
RDB 持久化方式适用于以下场景:
- 数据的完整性要求不高,可以容忍一定程度的数据丢失。
- 数据集较小,生成快照的时间和资源消耗较低。
- 数据备份和恢复的频率较低,不需要实时地同步数据。
AOF
AOF是 Redis 提供的一种持久化机制,用于将写操作追加到一个日志文件中,以便在服务器重启或崩溃时能够恢复数据。AOF 持久化方式记录了所有写操作命令,因此可以更可靠地保护数据。AOF 和 RDB 同时开启,系统默认取 AOF 的数据(数据不会存在丢失)。
AOF 持久化的生成流程
默认情况下,AOF持久化是关闭的,可以通过修改redis.conf文件中的appendonly参数来开启或关闭AOF持久化。开启后,服务器会在启动时加载AOF文件,并在每次执行写命令后将命令追加到AOF文件中。
命令追加: 当客户端发送写操作命令(例如 SET、INCRBY 等)给 Redis 服务器时,这些写操作命令会被追加到 AOF 文件中,以 Redis 命令的形式。
追加顺序: 写操作命令按照它们发生的顺序被追加到 AOF 文件的末尾。这确保了写操作的顺序性。
同步选项: Redis 提供了不同的同步策略来将写操作命令同步到磁盘上的 AOF 文件。可以使用 always(始终同步)、everysec (每秒同步)或 no(不主动进行同步) 来设置同步频率。
重写机制: 为了避免 AOF 文件变得过大,Redis 提供了 AOF 重写机制。AOF 重写可以生成一个新的 AOF 文件,其中只包含与当前数据库状态一致的写操作命令。这个过程可以通过执行 BGREWRITEAOF 命令手动触发,也可以根据配置自动触发。
AOF 恢复流程
启动 Redis: 当 Redis 服务器启动时,它会检查是否启用了 AOF 持久化,如果启用了,则尝试加载 AOF 文件。
AOF 文件加载: Redis 会将 AOF 文件中的写操作命令逐一执行,以恢复数据库的状态。这个过程可以保证数据的完整性。
执行顺序: AOF 文件中的写操作命令会按照它们在 AOF 文件中的顺序被执行,确保了写操作的顺序性。
AOF重写原理
AOF重写的原理是根据Redis进程内的数据生成一个新的AOF文件,只包含当前有效和存在的数据的写入命令,而不是历史上所有的写入命令。这样可以减少AOF文件的大小,提高数据恢复的速度,以及节省磁盘空间。
AOF重写是通过fork出一个子进程来完成的,子进程会扫描Redis的数据库,并将每个键值对转换为相应的写入命令,然后写入到一个临时文件中。例如,如果一个列表键包含了五个元素,那么子进程会将这五个元素合并为一条LPUSH命令,而不是保留原来的五条RPUSH命令。这样可以有效地压缩AOF文件的内容。
在子进程进行AOF重写的过程中,主进程会继续处理客户端的请求,并将执行过的写命令追加到旧的AOF文件和一个缓冲区中。当子进程完成AOF重写后,它会向主进程发送一个信号,主进程收到信号后会将缓冲区中的写命令追加到临时文件中,然后用临时文件替换旧的AOF文件,完成AOF重写。
AOF重写可以手动触发,也可以自动触发。手动触发可以通过执行bgrewriteaof命令来实现。自动触发可以通过设置redis.conf文件中的auto-aof-rewrite-percentage和auto-aof-rewrite-min-size参数来实现。当AOF文件的大小比上一次重写后的大小增长了一定百分比,并且超过了一定字节数时,就会自动触发AOF重写。
AOF 持久化优缺点
AOF 持久化方式有以下几个优点:
- AOF 文件可以保证数据不丢失,即使服务器发生故障,也可以通过重放 AOF 文件中的命令来恢复数据。
- AOF 文件是一个纯文本文件,每一行记录了一个 Redis 写命令,格式简单易懂,便于人工查看和编辑。
- AOF 文件可以通过重写机制来减少文件大小,并且可以根据配置自动触发重写。
- AOF 文件对服务器性能影响较小,因为它可以根据需要设置不同的同步策略,并且不需要fork一个子进程来生成快照。
AOF 持久化方式也有以下几个缺点:
- AOF 文件可能会比 RDB 文件更大,因为它记录了所有的写操作命令,而不是只保存当前的数据状态。
- AOF 文件加载速度比 RDB 文件更慢,因为它需要逐一执行 AOF 文件中的命令,而不是直接加载二进制文件。
- AOF 文件可能会出现损坏或不完整的情况,如果在写入或同步过程中发生故障,可能会导致部分命令丢失或格式错误。为了避免这种情况,可以使用 redis-check-aof 工具来检查和修复 AOF 文件。
AOF 持久化适用场景
AOF 持久化方式适用于以下场景:
- 数据的完整性要求很高,不能容忍任何程度的数据丢失。
- 数据集较大,生成快照的时间和资源消耗较高。
- 数据备份和恢复的频率较高,需要实时地同步数据。
RDB 和 AOF 的选择
RDB 和 AOF 是两种不同的持久化方式,它们各有优缺点和适用场景。在实际应用中,我们可以根据具体的业务需求和场景来选择合适的持久化方式。
以下是一些常见的选择原则:
- 如果数据的完整性要求很高,不能容忍任何程度的数据丢失,那么可以选择 AOF 持久化方式,并且设置 always 或 everysec 的同步策略。
- 如果数据的完整性要求不高,可以容忍一定程度的数据丢失,那么可以选择 RDB 持久化方式,并且设置合理的生成快照的时间间隔和阈值。
- 如果既想要保证数据的完整性,又想要提高数据恢复的速度,那么可以同时开启 RDB 和 AOF 持久化方式,并且设置 everysec 的同步策略。这样,在正常情况下,可以通过重放 AOF 文件来恢复数据;在异常情况下(比如 AOF 文件损坏或不完整),可以通过加载 RDB 文件来恢复数据。
- 如果想要提高服务器性能和降低资源消耗,那么可以关闭持久化功能,并且定期将数据备份到其他存储介质上。这样,在服务器发生故障时,可以通过手动恢复数据。
相关文章:
redis--持久化
redis持久化 在 Redis 中,持久化是一种将数据从内存写入到磁盘的机制,以便在服务器重启或崩溃时能够恢复数据。Redis 提供了两种主要的持久化方式:RDB(Redis Database Snapshot)和AOF(Append-Only File&am…...
管理外部表
官方文档地址:Managing Tables 关于外部表 Oracle 数据库允许您对外部表中的数据进行只读访问。外部表定义为不驻留在数据库中的表,通过向数据库提供描述外部表的元数据,数据库能够公开外部表中的数据,就好像它是驻留在常规数据…...
数字图像处理-AWB跳变
1、自动白平衡(AWB)算法是相机中常用的图像处理技术,它能够自动调整图像中的白平衡,使得图像中的颜色更加真实、自然。然而,在实际应用中,AWB算法也存在着一些问题,例如AWB跳变(Whit…...
DNNGP、DeepGS 和 DLGWAS模型构成对比
一、DNNGP DNNGP 是基于深度卷积神经网络,这个结构包括一个输入层,三个卷积层,一个批标准化层,两个dropout层,一个平坦化层,一个 dense层。 dropout层:在神经网络中,dropout层是一个非常有效的正…...
postgresSQL 配置文件设置
postgres.conf 是 PostgreSQL 数据库的主要配置文件,其中包含了许多关于数据库行为的设置。以下是一些常见的配置项: listen_addresses: 这个参数定义了 PostgreSQL 服务监听的网络地址。默认值是 ‘localhost’,这意味着只有本机的客户端才能…...
【bug】Unity无法创建项目
bug UnityHub无法创建项目 UnityHub无法创建项目 出现的问题:在创建新项目时弹出来一个 无法创建项目 尝试的方法: 刷新许可证 ❌没用退出账号重新登陆 ❌没用重启电脑 ❌没用 最后发现是什么问题呢? 2021.3.3这个版本我之前在资源管理器中…...
跨境外贸业务,选择动态IP还是静态IP?
在跨境业务中,代理IP是一个关键工具。它们提供了匿名的盾牌,有助于克服网络服务器针对数据提取设置的限制。无论你是需要经营管理跨境电商店铺、社交平台广告投放,还是独立站SEO优化,代理IP都可以让你的业务程度更加丝滑ÿ…...
Hlang社区-社区导航栏实现
文章目录 前言项目结构导航实现创作中心移动小球消息提示完整代码前言 okey,这里的话是我们社区导航栏的实现: 废话不多说,看看效果: 我甚至为此用New Bing生成了一个Logo。 项目结构 废话不多说,先来看到我们的项目结构: 在这里导航栏是一个组件。 在App.vue里面直…...
Kestrel和ISS服务器下的配置
一、Kestrel服务器 Kestrel是ASP.NET Core框架中的一个跨平台的Web服务器。它是ASP.NET Core应用程序默认的HTTP服务器,并且可作为独立的Web服务器来托管ASP.NET Core应用程序。 Kestrel具有以下特点和功能 1、跨平台 Kestrel是完全跨平台的,可以在Wind…...
uniapp选择只选择月份demo效果(整理)
<template><view style"margin-top: 200rpx;"><!-- mode"multiSelector" 多列选择器 --><view><picker :range"years" :value"echoVal" change"yearChange" mode"multiSelector">{…...
微信ipad协议8.0.40 加好友功能
友情链接 geweapi.com 点击即可访问! 好友请求验证 小提示: v_3 v_4 可以参考 搜索接口 请求URL: http://域名地址/api/contacts/verifyuser 请求方式: POST 请求头: Content-Type:application/js…...
如何通过本地搭建wamp服务器并实现无公网IP远程访问
文章目录 前言1.Wamp服务器搭建1.1 Wamp下载和安装1.2 Wamp网页测试 2. Cpolar内网穿透的安装和注册2.1 本地网页发布2.2 Cpolar云端设置2.3 Cpolar本地设置 3. 公网访问测试4. 结语 前言 软件技术的发展日新月异,各种能方便我们生活、工作和娱乐的新软件层出不穷&…...
matlab使用教程(19)—曲线拟合与一元方程求根
1.多项式曲线拟合 此示例说明如何使用 polyfit 函数将多项式曲线与一组数据点拟合。您可以按照以下语法,使用 polyfit 求出以最小二乘方式与一组数据拟合的多项式的系数 p polyfit(x,y,n), 其中: • x 和 y 是包含数据点的 x 和 y 坐标的向量 …...
【Go 基础篇】Go语言关键字和预定义标识符解析:探索编程的基石与核心要素
介绍 在计算机编程中,关键字(Keywords)和预定义标识符(Predefined Identifiers)是编程语言的核心要素,它们在语法结构和语言功能中起到重要作用。在Go语言(Golang)中,关…...
微服务与Nacos概述-6
RBAC 模型 RBAC 基于角色的访问控制是实施面向企业安全策略的一种有效的访问控制方式。 基本思想是,对系统操作的各种权限不是直接授予具体的用户,而是在用户集合与权限集合之间建立一个角色集合。每一种角色对应一组相应的权限。一旦用户被分配了适当…...
不是说嵌入式是风口吗,那为什么工作还那么难找?
最近确实有很多媒体、机构渲染嵌入式可以拿高薪,这在行业内也是事实,但前提是你有足够的竞争力,真的懂嵌入式。 时至今日,能做嵌入式程序开发的人其实相当常见,尤其是随着树莓派、Arduino等开发板的普及,甚…...
【二叉树】114. 二叉树展开为链表
114. 二叉树展开为链表 解题思路 后序遍历思路将root的左子树和右子树展平将root的右子树接到左子树下方 然后将整个左子树作为右子树 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* Tree…...
docker的安装与基础使用
一.docker简介 1)什么是docker Docker是一种用于构建、打包和运行应用程序的开源平台。它基于操作系统级虚拟化技术,可以将应用程序和其依赖的库、环境等资源打包到一个可移植的容器中,形成一个轻量级、独立的可执行单元。 开发者在本地编…...
python+django+mysql高校校园外卖点餐系统--计算机毕设项目
本文的研究目标是以高校校园外卖点餐为对象,使其高校校园外卖点餐为目标,使得高校校园外卖点餐的信息化体系发展水平提高。论文的研究内容包括对个人中心、美食分类管理、用户管理、商家管理、美食信息管理、工作人员管理、安全检查管理、系统管理、订单…...
获取excel中的图片(包含wps中嵌入单元格图片)
项目中有excel导入功能,并且需要导入excel中的图片;模板如图: 已知office中插入的图片为浮动形式;如图: wps中可以插入浮动图片,也可以插入嵌入单元格图片;如图: 并且在wps嵌入单元格形式的图片可以看到使用的是公式;如图: 问题来了,如何获取图片 并且将图片与单元格进行对应 …...
H3六边形层次化地理空间索引:重新定义空间数据处理的颠覆式突破
H3六边形层次化地理空间索引:重新定义空间数据处理的颠覆式突破 【免费下载链接】h3 Hexagonal hierarchical geospatial indexing system 项目地址: https://gitcode.com/gh_mirrors/h3/h3 地理空间数据处理长期面临着精度与效率难以兼顾的困境。传统网格系…...
R语言新手必看:clusterProfiler功能富集分析从安装到实战(附常见报错解决方案)
R语言实战:clusterProfiler功能富集分析全流程指南 第一次接触功能富集分析时,我被那些密密麻麻的基因列表和复杂的生物学术语搞得晕头转向。直到发现了clusterProfiler这个神器,它就像生物信息学分析中的瑞士军刀,把复杂的富集过…...
颠覆PDF转换体验:Marker无缝实现25页/秒全场景文档格式精准迁移
颠覆PDF转换体验:Marker无缝实现25页/秒全场景文档格式精准迁移 【免费下载链接】marker 一个高效、准确的工具,能够将 PDF 和图像快速转换为 Markdown、JSON 和 HTML 格式,支持多语言和复杂布局处理,可选集成 LLM 提升精度&#…...
Spring Boot实战:5分钟搞定CORS跨域配置(含@CrossOrigin详解)
Spring Boot实战:5分钟搞定CORS跨域配置(含CrossOrigin详解) 现代Web开发中,前后端分离架构已成为主流选择。这种架构下,前端应用运行在一个域名下,而后端API服务则部署在另一个域名。当浏览器尝试从前端向…...
Path of Building:流放之路玩家必备的终极Build规划神器
Path of Building:流放之路玩家必备的终极Build规划神器 【免费下载链接】PathOfBuilding Offline build planner for Path of Exile. 项目地址: https://gitcode.com/GitHub_Trending/pa/PathOfBuilding 如果你正在玩《流放之路》并为复杂的Build规划感到头…...
【模型手术室】第七篇:模型量化 —— 从 FP16 到 4-bit 的极限压缩与性能翻倍
专栏进度:07 / 10 (微调实战专题) 大模型默认使用 FP16(16 位浮点数) 存储权重,这意味着每个参数占 2 字节。一个 7B 模型光权重就占 14GB 显存。量化的本质是把这些高精度的数字映射到更小的整数空间(如 INT4…...
5分钟搞定OpenClaw+GLM-4.7-Flash:星图平台一键部署体验
5分钟搞定OpenClawGLM-4.7-Flash:星图平台一键部署体验 1. 为什么选择云端部署OpenClaw 作为一个长期折腾本地AI部署的技术爱好者,我深知在个人电脑上配置OpenClaw的痛处。从Node.js版本冲突到模型权重下载失败,再到各种依赖库缺失…...
解锁光猫配置自由:中兴ONT解密工具完全指南
解锁光猫配置自由:中兴ONT解密工具完全指南 【免费下载链接】ZET-Optical-Network-Terminal-Decoder 项目地址: https://gitcode.com/gh_mirrors/ze/ZET-Optical-Network-Terminal-Decoder 你是否曾经因为无法修改光猫设置而感到束手无策?当运营…...
Stable Diffusion像素艺术工作站:Pixel Fashion Atelier支持LoRA在线热切换
Stable Diffusion像素艺术工作站:Pixel Fashion Atelier支持LoRA在线热切换 1. 像素时装锻造坊简介 Pixel Fashion Atelier是一款基于Stable Diffusion与Anything-v5的图像生成工作站,专为像素艺术创作而设计。与传统AI工具不同,它采用了复…...
实战复盘-Redis连接数爆满引发的生产事故与优化策略
1. 事故背景:一场由促销活动引发的Redis雪崩 那天凌晨三点,我被一阵急促的电话铃声惊醒。电话那头是值班同事焦急的声音:"所有商品页面都打不开了,订单系统也瘫痪了!"我瞬间清醒,抓起电脑就开始…...
