Redis_缓存3_缓存异常(数据不一致、雪崩、击穿、穿透)
14.6缓存异常
四个方面
- 缓存中数据和数据库不一致
- 缓存雪崩
- 缓存击穿
- 缓存穿透
14.6.1数据不一致:
一致性包括两种情况
- 缓存中有数据,需要和数据库值相同
- 缓存中没有数据,数据库中的数据是最新值
如果不符合以上两种情况,则出现数据不一致的问题。
读写缓存
- 同步直写
- 异步写回
只读缓存
- 新增数据
- 数据直接写到数据库中,缓存不做操作。满足一致性两种情况的第2种。
- 删改数据
- 先删除缓存,后更新数据库。可能会导致,缓存删除成功,数据库更新失败。业务逻辑去访问数据时,缓存中查不到数据,缓存缺失,到数据库中查询,所以只拿到旧的数据。
- 如果新更新数据库,再删除缓存。可能会导致,数据库更新成功,缓存删除失败。数据库中的数据是新的值,缓存中存储的是旧值。再读取时,先从缓存中读取,读取到了旧值。
解决数据不一致的方案
- 重试机制:把删除的缓存值或要更新数据库值先存储到消息队列中(kafka消息队列)。
- 如果发现试了10次还不成功就会向服务器端报错
多线程访问的情况
- 先删除缓存,再更新数据库。
- 假设T1线程先删除缓存,再执行更新数据库。还未更新成功时,T2线程进行读取,发现缓存中没有数据,到数据库中读取,会读取到旧的数据。如果T2还将旧数据更新到缓存中,那T1线程再进行读取,也读到的旧值。
- 让T1线程先执行休眠一段时间。T1线程在休眠时间,让T2线程执行结束,会将数据重新写入缓存。T1线程再做一次缓存删除操作。“延迟双删”。
redis.delCache() db.update() Thread.sleep(2000) redis.delCache()
- 先更新数据库值,再去删除缓存
- 假设T1线程先删除或更新数据库中的值,还没来得及删除缓存时,T2线程就开始读取数据。T2会先从缓存中读取,缓存命中,T2拿到的就是旧的数据。直到T1将缓存中数据删除,其他线程再次读取,可以拿到新值.
| 并发操作 | 执行顺序 | 可能出现问题 | 问题描述 | 解决方案 |
|---|---|---|---|---|
| 没有 | 先删除缓存,后更新数据库 | 缓存删除成功,数据库更新失败 | 从数据库读到旧数据 | 重试(通过消息队列) |
| 有 | 先删除缓存,后更新数据库 | 缓存删除,未更新数据库,其他线程并发访问 | 并发线程从数据库读到旧值,并更新了缓存,其他线程都从缓存中读到旧值 | 延迟双删 |
| 没有 | 先更新数据库,后删除缓存 | 数据库更新成功,缓存删除失败 | 从缓存中读到旧值 | 重试(通过消息队列) |
| 有 | 先更新数据库,后删除缓存 | 数据库更新成功,未删除缓存,其他同线程并发访问 | 并发线程从缓存读到旧值 | 会有数据不一致情况短暂存在 |
14.6.2 缓存雪崩
大量的应用请求无法在redis中完成处理。缓存中读取不到数据,直接进入到数据库服务器。数据库压力激增,数据库崩溃,请求堆积在redis,导致redis服务器崩溃,导致redis集群崩溃,应用服务器崩溃,称为雪崩
原因1:缓存中有大量数据同时过期
解决方案:
- 页面静态化处理数据:对于不经常更换的数据,生成静态页
- 避免大量数据同时过期:为商品过期时间追加一个随机数,在一个较小的范围内(1~3分钟)。
- 构建多级缓存架构:redis缓存+nginx缓存+ehcache缓存
- 延长或取消热度超高的数据过期时间
- 服务降级
不同的数据采取不同的处理方式。
原因2:redis实例故障
解决方案:
- 服务熔断或限流处理
提前预防:
- 灾难预警:监控redis服务器性能指标,包括数据库服务器性能指标,CPU、内存、平均响应时间、线程数等
- 集群:有节点出一故障,主从切换。
14.6.2 缓存击穿
对某个访问频繁热点数据的请求。主要发生在热点数据失效
解决方案:
- 预先设定:电商双11,商铺设定几款是主打商品,延长过期时间
- 实时监控:监控访问量,避免访问量激增
- 定时任务:启动任务调度器,后台刷新数据有效期
- 分布式锁:可防止缓存击穿,但会有性能问题 (不推荐)
14.6.3 缓存穿透
要访问的数据在redis中不存在,在数据库中也不存在。
原因:
- 业务层误操作
- 恶意攻击
解决方案:
- 缓存空值或缺省值
- 使用布隆过滤器,快速判断数据是否存在
- 在请求入口前端进行请求检测
- 实时监控
- key加密
相关文章:
Redis_缓存3_缓存异常(数据不一致、雪崩、击穿、穿透)
14.6缓存异常 四个方面 缓存中数据和数据库不一致缓存雪崩缓存击穿缓存穿透 14.6.1数据不一致: 一致性包括两种情况 缓存中有数据,需要和数据库值相同缓存中没有数据,数据库中的数据是最新值 如果不符合以上两种情况,则出现…...
谁能讲清楚Spark之与MapReduce的对比
我们已经知道Spark是如何设计和实现数据处理流程的,这里我们 再深入思考一下,为什么Spark能够替代MapReduce成为主流的大数据处理框架呢?对比MapReduce,Spark究竟有哪些优势? 一 优势 1 通用性: 基于函数式编程思想,MapReduce将数据类型抽象为,k,v格式,并将数据处理…...
Android自定义侧滑Item
源码地址:https://github.com/LanSeLianMa/CustomizeView/tree/master/cehuaitem 使用方式一:XML布局中直接使用 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com…...
c++11 标准模板(STL)(std::basic_stringbuf)(三)
定义于头文件 <sstream> template< class CharT, class Traits std::char_traits<CharT>, class Allocator std::allocator<CharT> > class basic_stringbuf : public std::basic_streambuf<CharT, Traits> std::basic_stringbuf…...
Nodejs 第九章(模块化)
Nodejs 模块化规范遵循两套一 套CommonJS规范另一套esm规范 CommonJS 规范 引入模块(require)支持四种格式 支持引入内置模块例如 http os fs child_process 等nodejs内置模块支持引入第三方模块express md5 koa 等支持引入自己编写的模块 ./ …/ 等支…...
shell之正则表达式及三剑客grep命令
一、正则表达式概述 什么是正则表达式? 正则表达式是一种描述字符串匹配规则的重要工具 1、正则表达式定义: 正则表达式,又称正规表达式、常规表达式 使用字符串描述、匹配一系列符合某个规则的字符串 正则表达式 普通字符: 大小写字母…...
LeetCode 热题 100 JavaScript--33. 搜索旋转排序数组
整数数组 nums 按升序排列,数组中的值 互不相同 。 在传递给函数之前,nums 在预先未知的某个下标 k(0 < k < nums.length)上进行了 旋转,使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nums[1], …,…...
并发编程 - 线程池中的常见面试题
目录 1. 线程池相比于线程有什么优点 2. 线程池的参数有哪些 3. 线程工厂有什么用 4. 说一下线程的优先级 5. 说一下线程池的执行流程 6. 线程池的拒绝策略有哪些 7. 如何实现自定义拒绝策略 8. 如何判断线程池中的任务是否执行完成 1. 线程池相比于线程有什么优点 有…...
将多个单独的 Excel 文件合并成一个,并添加标题行
要将多个单独的 Excel 文件合并成一个,并添加标题行,可以使用 Python 的 pandas 库。以下是一个示例代码,假设要合并的 Excel 文件都在同一个文件夹中: import os import pandas as pd # 指定文件夹路径 folder_path path/to/fo…...
VPN pptp和l2tp协议破解
代码下载地址: https://download.csdn.net/download/m0_37567738/88215516?spm1001.2014.3001.5501...
4.3、Flink任务怎样读取Kafka中的数据
目录 1、添加pom依赖 2、API使用说明 3、这是一个完整的入门案例 4、Kafka消息应该如何解析 4.1、只获取Kafka消息的value部分 4.2、获取完整Kafka消息(key、value、Metadata) 4.3、自定义Kafka消息解析器 5、起始消费位点应该如何设置 5.1、earliest() 5.2、lat…...
C语言实例_和校验算法
一、算法介绍 和校验(Checksum)是一种简单的纠错算法,用于检测或验证数据传输或存储过程中的错误。它通过对数据进行计算并生成校验和,然后将校验和附加到数据中,在接收端再次计算校验和并进行比较,以确定…...
安全加密框架图——Oracle安全开发者
Oracle安全开发者 ACLs 设计 ACLs(访问控制列表)时,可以根据以下思路进行设计: 所有者文件权限:确定文件的所有者能够对文件执行哪些操作,如读取、写入、执行等。这可以根据文件的性质和拥有者的职责来决…...
Android databinding 被多次定义
一、报错: AndroidStudio运行代码时,编译器报 Type androidx.databinding.Bindable is defined multiple times...... 二、解决: 点击 Build -> Clean Project,关闭编译器再打开即可。 三、解决过程: 在使用Andro…...
云原生周刊:Kubernetes v1.28 新特性一览 | 2023.8.14
推荐一个 GitHub 仓库:Fast-Kubernetes。 Fast-Kubernetes 是一个涵盖了 Kubernetes 的实验室(LABs)的仓库。它提供了关于 Kubernetes 的各种主题和组件的详细内容,包括 Kubectl、Pod、Deployment、Service、ConfigMap、Volume、…...
机器学习之分类模型
机器学习之分类模型 概述分类模型逻辑回归最近邻分类朴素贝叶斯支持向量机决策树随机森林多层感知机基于集成学习的分类模型VotingBaggingStackingBlendingBoosting 概述 机器学习分类模型通过训练集进行学习,建立一个从输入空间 X X X到输出空间 Y Y Y(…...
学习Vue:创建第一个Vue实例
当您开始探索 Vue.js,第一步就是创建一个 Vue 实例。Vue 实例是 Vue.js 应用程序的核心构建块,它使您能够将数据与用户界面连接起来,实现动态交互。在本文中,我们将详细介绍如何创建您的第一个 Vue 实例。 步骤1:引入 …...
JavaFx基础学习【二】:Stage
一、介绍 窗口Stage为图中标绿部分: 实际为如下部分: 不同的操作系统表现的样式不同,以下都是以Windows操作系统为例,为了使大家更清楚Stage是那部分,直接看以下图,可能更清楚: 有点潦草&…...
C语言——动态内存函数(malloc、calloc、realloc、free)
了解动态内存函数 前言:一、malloc函数二、calloc函数三、realloc函数四、free函数 前言: 在C语言中,动态内存函数是块重要的知识点。以往,我们开辟空间都是固定得,数组编译结束后就不能继续给它开辟空间了࿰…...
Redis数据结构——Redis简单动态字符串SDS
定义 众所周知,Redis是由C语言写的。 对于字符串类型的数据存储,Redis并没有直接使用C语言中的字符串。 而是自己构建了一个结构体,叫做“简单动态字符串”,简称SDS,比C语言中的字符串更加灵活。 SDS的结构体是这样的…...
OpenClaw技能开发入门:为Qwen2.5-VL-7B扩展截图分析功能
OpenClaw技能开发入门:为Qwen2.5-VL-7B扩展截图分析功能 1. 为什么需要截图分析技能 上周我在整理项目文档时,突然意识到一个痛点:每次截图后都需要手动添加文字说明,这个过程既耗时又容易出错。作为一个长期关注自动化工具的技…...
Qt【第七篇】 ——— QSS 样式表与绘图 API 核心用法及 UI 定制功能总结
目录 QSS widget.cpp(QSS的基本使用) widget.cpp(QSS选择器的用法) widget.cpp(QSS子控件选择器) widget.cpp(QSS伪类选择器) widget.cpp(QSS盒子模型) QSS 基…...
机器学习实践指南【1.0】
第1章 机器学习引言本章将介绍机器学习及其涵盖的多个话题。你将了解以下内容:什么是机器学习分类方法概述聚类方法概述模型的选择和正则化概述非线性方法概述监督学习概述无监督学习概述增强学习概述结构化预测概述神经网络概述深度学习概述1.1 什么是机器学习人类…...
别再傻傻分不清!ESP32-S3上USB CDC、UART0和板载CH340到底谁在干活?
ESP32-S3串口全解析:快速识别USB CDC、UART0与CH340的实战指南 刚拿到ESP32-S3开发板时,很多开发者都会遇到一个令人困惑的场景——连接电脑后,设备管理器里突然冒出三四个COM端口,而Arduino IDE的下拉菜单里也列出一堆选项。到底…...
LeetCode单词拆分:动态规划详解,Apache介绍和安装。
单词拆分问题概述 单词拆分(Word Break)是LeetCode上经典的动态规划问题,题目要求判断给定字符串是否可以被拆分为字典中的单词。例如,给定字符串"leetcode"和字典["leet", "code"],返回…...
PostgreSQL 选择数据库
PostgreSQL 选择数据库 引言 在当今数据驱动的世界中,选择合适的数据库系统对于企业来说至关重要。PostgreSQL,作为一款功能强大、开源的关系型数据库管理系统(RDBMS),因其卓越的性能、灵活性和可扩展性而备受青睐。本文将深入探讨PostgreSQL的特点,分析为何它是众多数…...
1949-2023年各地级市、县新注册农民专业合作社数量数据
数据介绍 农民专业合作社可以推动农业规模化与产业化经营资源整合,合作社通过集中土地、劳动力、资金等生产要素,实现规模化种植或养殖,降低单位生产成本。通过统一采购农资、技术培训、品牌销售,提升市场竞争力。 产业链延伸&a…...
现代Qt开发——入门 · 环境搭建 · 00 · Qt6 安装踩坑指南
现代Qt开发——入门 环境搭建 00 Qt6 安装踩坑指南 相关仓库仍然已经开源,正在积极火热的建设之中,欢迎各位大佬提Issue和PR! 链接地址:https://github.com/Awesome-Embedded-Learning-Studio/Tutorial_AwesomeQt 1. 前言&…...
从社交推荐到药物发现:GAT(图注意力网络)在5个工业级场景下的落地实践
从社交推荐到药物发现:GAT在5个工业级场景下的落地实践 当AlphaFold2用图神经网络破解蛋白质折叠难题时,工业界突然意识到:图注意力网络(GAT)早已不再是学术玩具。在社交平台每天处理数十亿次关系推理的推荐系统里&…...
告别网络延迟!AutoGLM-Phone-9B本地化部署实战,手机也能流畅对话AI
告别网络延迟!AutoGLM-Phone-9B本地化部署实战,手机也能流畅对话AI 1. AutoGLM-Phone-9B简介与核心优势 1.1 专为移动端设计的轻量级大模型 AutoGLM-Phone-9B是一款革命性的多模态大语言模型,专为移动设备和边缘计算场景优化。与传统的云端…...
