Redis - 介绍与使用场景
简介
Redis 的全称是 Remote Dictionary Server,是一个使用 C 语言编写的、开源的(BSD 许可)高性能非关系型(NoSQL)的键值对数据库。
Redis 的数据是存储在内存中的,所以读写速度非常快,被广泛应用于缓存方向,当然也有持久化数据库的用法。
优缺点
优点
- 读写性能优异, Redis 能读的速度是 110000 次/s,写的速度是 81000 次/s
- 数据类型丰富,有 String、List、Hash、Set、SortedSet 等
- 单线程原子性,Redis 所有的操作都是原子性的,也支持多个操作合并后的原子执行
- 丰富的特性,Redis 支持发布订阅、通知、key 过期等功能
- 支持持久化,Redis 支持 RDB、AOF 等持久化方式
- 高可用性,Redis 支持主从复制、哨兵模式、Cluster 等高可用方式
缺点
- 数据库容量受物理内存的限制,不能用作海量数据的读写
- Redis 难以支持在线扩容,修改配置文件之后重启 Redis,恢复磁盘上的数据耗费时间较久
使用场景
数据缓存
Redis 是高性能的内存数据库,因此,缓存是 Redis 最常用的场景。Redis 作为缓存使用的时候,一般是采用先更新数据库,再删除缓存的 Cache Aside Pattern 策略。
整体的逻辑是:业务从 Redis 中读取数据,如果 Redis 中访问不到数据,然后读取数据库中的数据,将数据库中的数据缓存到 Redis 中;业务更新数据,直接修改数据库中的数据,然后将 Redis 中的缓存删除。
这种方案需要注意的就是:避免缓存击穿,数据的实时性相对较低。
限时业务
Redis 支持给 key 设置过期时间,客户端无法访问到过期的 key,利用这一特性可以运用在限时的优惠活动、手机验证码等业务场景。
计数器
Redis 的 INCRBY 命令可以实现原子性的递增,可以直接作为计数器存储和递增。尤其是,该命令在键不存在时会直接初始化值再执行 INCRBY 命令,执行成功后会直接返回计算增量之后的数值。
高并发的秒杀活动、分布式序列号的生成、限制手机发送短信次数、接口限制访问次数等需要计数的功能,都涉及到计数器的概念,尤其是分布式系统会涉及到分布式计数器。
分布式锁
先使用 SETNX 命令来争抢锁,结果返回 1 表示设置成功,抢到之后再用 EXPIRE 命令给锁加一个过期时间防止忘记释放锁。
从 Redis 的 2.6.12 版本开始,可以通过 SET 命令的复杂参数,将 SETNX 命令和 EXPIRE 命令合并成一条命令来使用:
EX second: 设置键的过期时间为 second 秒,使用EX选项效果等同于SETEX命令。PX millisecond: 设置键的过期时间为 millisecond 毫秒,使用PX选项效果等同于PSETEX命令。NX: 只在键不存在时,才对键进行设置操作,使用NX选项效果等同于SETNX命令。XX: 只在键已经存在时,才对键进行设置操作。
同样的,使用 SET 命令操作成功之后会返回 OK,这样才表示抢到了锁。
为了避免分布式锁被误删,加锁时可以设置线程 ID 作为 value 值,删除时需要线程的线程 ID 和 Redis 存储的值一致才能够删除分布式锁,否则只能等待锁自动过期,整个删除过程使用事务的方式保证原子性。
排行榜功能
通过 Redis 的 SortedSet 可以实现排行榜功能。
比如说需要展示点赞排行榜,可以将用户 ID 作为 SortedSet 的 value 值,将用户的点赞数作为 SortedSet 的 score 值,SortedSet 提供的 ZRANGEBYSCORE 命令可以快速返回已排序的点赞排行榜。
延时队列
延时队列其实就是一个带有延迟功能的消息队列,Redis 可以通过 SortedSet 实现延时队列。
具体的实现如下:
- 将消息内容序列化成一个字符串作为 SortedSet 的 value 值,这个消息的到期处理时间作为 score,生产者调用
ZADD命令生产消息,消费者可以使用ZRANGEBYSCORE命令获取一段时间之前的数据轮询处理; - 通常使用多个线程轮询 SortedSet 获取到期的任务进行处理,多个线程是为了保障可用性,万一挂了一个线程还有其他线程可以继续处理;
- 因为有多个线程,所以需要考虑并发争抢任务,确保任务不能被多次执行,Redis 的
ZREM命令是多线程争抢任务的关键,ZREM命令会返回被成功移除的成员数量,可以通过ZREM命令来决定任务的唯一属主; - 同时也要注意一定要进行异常捕获,避免因为个别任务处理问题导致循环异常退出,同一个任务可能会被多个进程取到之后再使用
ZREM命令进行争抢,那些没抢到的进程都是白取了一次任务,这是浪费; - 通常可以使用 Lua 脚本的方式,将
ZRANGEBYSCORE命令和ZREM命令一同挪到服务器端进行原子化操作,这样多个进程之间争抢任务时就不会出现这种浪费了。
异步队列
第一种方案 是使用 List 结构作为异步队列,RPUSH 命令生产消息,LPOP 命令消费消息。当使用 LPOP 命令没有得到消息的时候,需要适当 sleep 一会再重试,在这里 sleep 会导致消息的处理延迟增加。
如果不做 sleep 重试,改进的 第二种方案 是,使用 LPOP 命令的阻塞版本 BLPOP 命令,在 List 队列中没有消息的时候,它会阻塞直到消息到来,一旦数据到来,则立刻醒过来,消息的延迟几乎为零。但是如果线程一直阻塞,Redis 的客户端连接就成了闲置连接,闲置过久,服务器一般会主动断开连接,减少闲置资源占用。这个时候 BLPOP 命令会抛出异常来,代码中需要处理这样的异常。
除了 List 队列之外,第三种方案 是使用 Pub/Sub 订阅者模式实现一对多的消息队列。但是 Redis 的发布订阅功能是无状态的,对于发布者来说,无法知道发布的消息是否被订阅者接收到,在消费者下线的情况下,生产的消息会丢失。
相关文章:
Redis - 介绍与使用场景
简介 Redis 的全称是 Remote Dictionary Server,是一个使用 C 语言编写的、开源的(BSD 许可)高性能非关系型(NoSQL)的键值对数据库。 Redis 的数据是存储在内存中的,所以读写速度非常快,被广泛…...
Spark SQL实战(07)-Data Sources
1 概述 Spark SQL通过DataFrame接口支持对多种数据源进行操作。 DataFrame可使用关系型变换进行操作,也可用于创建临时视图。将DataFrame注册为临时视图可以让你对其数据运行SQL查询。 本节介绍使用Spark数据源加载和保存数据的一般方法,并进一步介绍…...
Django DRF - 权限Permissions
权限Permissions 权限控制可以限制用户对于视图的访问和对于具体数据对象的访问。 在执行视图的dispatch()方法前,会先进行视图访问权限的判断在通过get_object()获取具体对象时,会进行对象访问权限的判断 1.提供的权限 AllowAny 允许所有用户IsAuth…...
二叉树(OJ)
单值二叉树(力扣) ---------------------------------------------------哆啦A梦的任意门------------------------------------------------------- 我们来看一下题目的具体要求: 既然我们都学了二叉树了,我们就应该学会如何去…...
mysql中增删改成的练习
文章目录一、表的创建1.student表的数据2、课程表的数据course3、学生成绩表的数据二、操作序列1、查询计算机系cs的全体学生学号、姓名和性别2、检索选修了课程号为2的学生号和姓名3、检索至少选修了三门课以上的学生号4、检索选修了全部课程的学生5、在原表的基础上创建一个视…...
谈一谈Java的ThreadLocal
目录 先说原理: 再上代码: 运行结果: 先说原理: ThreadLocal 是一个本地线程副本变量工具类,它可以在每个线程中创建一个副本变量,每个线程可以独立地修改自己的副本变量,而不会影响其他线程…...
边缘检测与阈值分割
Canny [1] Canny Edge Detection. https://docs.opencv.org/3.4/da/d22/tutorial_py_canny.html [2] OpenCV Edge Detection ( cv2.Canny ). https://pyimagesearch.com/2021/05/12/opencv-edge-detection-cv2-canny/ 由John F. Canny提出 1、由于边缘检测容易受噪声影响&…...
QQ空间无敌装逼,复制下面的任一代码粘贴即可出现意想不到的图案。
复制下面的任一代码粘贴即可出现意想不到的图案。 打赏代码: [em]e10033[/em]{uin:123,nick: 打赏了你一个冰淇淋,who:1} [em]e10033[/em] 打赏了100000000000.00元红包 [em]e10011[/em] 赞代码:{uin:0000,nick: xx、xx、xx、xx、xx、xx、xx、xx、xx、xx、xx、x…...
必看!总结5种JavaScript异步解决方案
1.回调 回调简单地理解为一个函数作为参数传递给另一个函数,回调是早期最常用的异步解决方案之一。 回调不一定是异步的,也不直接相关。 举个简单的例子: function f1(cb) {setTimeout(() > {cb && cb();}, 2000); }f1(() >…...
JUC并发编程高级篇第四章之ThreadLocal(人手一份,天下安)
文章目录1、ThreadLocal的简介1.1、常见的面试题(也是本次的讲解的内容)1.2、什么是ThreadLocal1.3、ThreadLocal的所用1.4、没有出现ThreadLocal前后的变化1.5、ThreadLocal代码示例1.6、阿里巴巴对ThreadLocal的使用要求1.7、ThreadLocal的源码分析2、ThreadLocal…...
dump 定位分析
在缺少pdb的时候如何分析dump? windbgidaWindbg定位崩溃位置 通过windbg打开dump,并且分析dump !analyze -v 分析: 分析dump: !analyze -v错误原因:读取空指针错误线程:00001e04,可通过命令…...
(十二)排序算法-插入排序
1 基本介绍 1.1 概述 插入排序属于内部排序法,是对于欲排序的元素以插入的方式找寻该元素的适当位置,以达到排序的目的。 插入排序的工作方式非常像人们排序一手扑克牌一样。开始时,我们的左手为空并且桌子上的牌面朝下。然后,…...
elasticsearch 认知
1.大数据领域需要解决以下三个问题 如何存储数据 传统的关系数据库(MySQL、Oracle、和Access等)主导了20世纪的数据存储模式,但当数据量达到太字节级,甚至拍字节级时,关系型数据库表现出了难以解决的瓶颈问题。为了解决…...
《人体地图》笔记
《人体地图》 坂井建雄 著 孙浩 译 腹部通向大腿的隧道 腹部与大腿的分界点是大腿根部,即是腹股沟。 腹壁肌肉连结在腹股沟韧带上,腹壁肌肉包括三层,分别为腹外斜肌、腹内斜肌和腹横肌,每块肌肉都有一个张开的小孔,…...
java基础集合面试题
什么是集合 集合就是一个放数据的容器,准确的说是放数据对象引用的容器 集合类存放的都是对象的引用,而不是对象的本身 集合类型主要有3种:set(集)、list(列表)和map(映射)。 集合的特点 集合的特点主要有如下两点&…...
Vue学习-Vue入门
Vue学习 一、Vue入门 1、 引入Vue Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库…...
【项目】bxg基于SaaS的餐掌柜项目实战(2023)
基于SaaS的餐掌柜项目实战 餐掌柜是一款基于SaaS思想打造的餐饮系统,采用分布式系统架构进行多服务研发,共包含4个子系统,分别为平台运营端、管家端(门店)、收银端、小程序端,为餐饮商家打造一站式餐饮服务…...
灌区流量监测设备-中小灌区节水改造
系统概述 灌区信息化管理系统主要对对灌区的水情、雨情、土壤墒情、气象等信息进行监测,对重点区域进行视频监控,同时对泵站、闸门进行远程控制,实现了信息的测量、统计、分析、控制、调度等功能。为灌区管理部门科学决策提供了依据…...
SpringBoot2核心功能 --- 指标监控
一、SpringBoot Actuator 1.1、简介 未来每一个微服务在云上部署以后,我们都需要对其进行监控、追踪、审计、控制等。SpringBoot就抽取了Actuator场景,使得我们每个微服务快速引用即可获得生产级别的应用监控、审计等功能。 <dependency><gro…...
python实战应用讲解-【numpy数组篇】常用函数(三)(附python示例代码)
目录 Python numpy.repeat() Python numpy.tile() Python numpy.asarray_chkfinite() Python numpy.asfarray() Python numpy.asfortranarray() Python numpy.repeat() Python numpy.repeat()函数重复数组中的元素 – arr. 语法 : numpy.repeat(arr, repetitions, axis …...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案: 语义化标签: <header>:页头<nav>:导航<main>:主要内容<article>&#x…...
Appium+python自动化(十六)- ADB命令
简介 Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具,其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利,如安装和调试…...
shell脚本--常见案例
1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件: 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...
云启出海,智联未来|阿里云网络「企业出海」系列客户沙龙上海站圆满落地
借阿里云中企出海大会的东风,以**「云启出海,智联未来|打造安全可靠的出海云网络引擎」为主题的阿里云企业出海客户沙龙云网络&安全专场于5.28日下午在上海顺利举办,现场吸引了来自携程、小红书、米哈游、哔哩哔哩、波克城市、…...
SpringBoot+uniapp 的 Champion 俱乐部微信小程序设计与实现,论文初版实现
摘要 本论文旨在设计并实现基于 SpringBoot 和 uniapp 的 Champion 俱乐部微信小程序,以满足俱乐部线上活动推广、会员管理、社交互动等需求。通过 SpringBoot 搭建后端服务,提供稳定高效的数据处理与业务逻辑支持;利用 uniapp 实现跨平台前…...
微服务商城-商品微服务
数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...
Python爬虫实战:研究Restkit库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代,互联网上存在着海量的有价值数据。如何高效地采集这些数据并将其应用于实际业务中,成为了许多企业和开发者关注的焦点。网络爬虫技术作为一种自动化的数据采集工具,可以帮助我们从网页中提取所需的信息。而 RESTful API …...
【大模型】RankRAG:基于大模型的上下文排序与检索增强生成的统一框架
文章目录 A 论文出处B 背景B.1 背景介绍B.2 问题提出B.3 创新点 C 模型结构C.1 指令微调阶段C.2 排名与生成的总和指令微调阶段C.3 RankRAG推理:检索-重排-生成 D 实验设计E 个人总结 A 论文出处 论文题目:RankRAG:Unifying Context Ranking…...
欢乐熊大话蓝牙知识17:多连接 BLE 怎么设计服务不会乱?分层思维来救场!
多连接 BLE 怎么设计服务不会乱?分层思维来救场! 作者按: 你是不是也遇到过 BLE 多连接时,调试现场像网吧“掉线风暴”? 温度传感器连上了,心率带丢了;一边 OTA 更新,一边通知卡壳。…...
比特币:固若金汤的数字堡垒与它的四道防线
第一道防线:机密信函——无法破解的哈希加密 将每一笔比特币交易比作一封在堡垒内部传递的机密信函。 解释“哈希”(Hashing)就是一种军事级的加密术(SHA-256),能将信函内容(交易细节…...
