基于 Redis 实现消息队列的深入解析
目录
- Redis 消息队列简介
- Redis 消息队列的实现方式
- 2.1 使用 List 实现简单队列
- 2.2 使用 Pub/Sub 模式实现消息发布与订阅
- 2.3 使用 Stream 实现高级队列
- Redis 消息队列的特点与优势
- Redis 消息队列的应用场景
- Redis 消息队列的局限性及应对方案
- 总结
Redis 消息队列简介
Redis 是一个开源的高性能键值存储系统,因其支持丰富的数据结构和高吞吐量,常被用作缓存、数据库以及消息队列的底层存储。在 Redis 中,消息队列的实现主要依赖其 List、Pub/Sub 以及 Stream 三种数据结构。相比于专业的消息队列(如 RabbitMQ、Kafka 等),Redis 的消息队列具有轻量级、高性能和易于使用的特点。
Redis 消息队列的实现方式
2.1 使用 List 实现简单队列
Redis 的 List 数据结构提供了天然的队列功能,可以通过 LPUSH 和 RPOP 命令实现入队和出队操作。
实现原理
- LPUSH:将消息从列表的左侧插入,相当于入队操作。
- RPOP:从列表的右侧取出消息,相当于出队操作。
这一方式实现的队列为“先进先出”(FIFO),即最早入队的消息最早被处理。
基本操作
# 生产者 - 入队
LPUSH queue "message_1"
LPUSH queue "message_2"# 消费者 - 出队
RPOP queue
在这个简单的模式中,生产者和消费者共享同一个 Redis 列表,生产者将消息推入队列,消费者从队列中取出消息进行处理。
阻塞队列
为了避免消费者不断轮询 Redis 消息队列,可以使用 Redis 提供的阻塞操作 BRPOP,使消费者在没有消息时处于阻塞状态,直到队列中有新的消息时再返回。
# 阻塞消费
BRPOP queue 0
优点
- 实现简单,适合小规模的消息队列应用。
- 支持阻塞操作,避免无意义的轮询。
缺点
- 不支持多消费者场景中的消息确认与重试机制。
- 队列数据无法持久化,Redis 宕机后可能导致数据丢失。
2.2 使用 Pub/Sub 模式实现消息发布与订阅
Redis 的 Pub/Sub(发布/订阅)是一种轻量级的消息传递机制,生产者通过频道发布消息,多个消费者可以订阅该频道并接收消息。Pub/Sub 是一种“推送”模型,适合实时性要求较高的场景。
实现原理
- PUBLISH:生产者将消息发布到指定频道。
- SUBSCRIBE:消费者订阅某个频道,并接收该频道发布的所有消息。
基本操作
# 生产者 - 发布消息
PUBLISH channel "Hello, World!"# 消费者 - 订阅频道
SUBSCRIBE channel
当生产者发布消息后,所有订阅该频道的消费者都会收到这条消息。
优点
- 实时性强,消息会立即推送到所有订阅者。
- 实现非常简单,适合实时消息传递的场景,如聊天系统、实时通知等。
缺点
- 没有消息持久化机制,订阅者如果不在线将错过消息。
- 无法控制消息消费的顺序与确认机制,适合广播消息但不适合任务队列场景。
2.3 使用 Stream 实现高级队列
Redis 5.0 引入了全新的 Stream 数据结构,它可以用来构建强大的消息队列,支持消息持久化、消息确认、消费者组等高级特性,非常适合复杂的消息队列需求。
实现原理
- XADD:生产者向 Stream 中添加消息。
- XREAD:消费者读取 Stream 中的消息,可以实现阻塞读取。
- XACK:消费者确认消息已处理,防止消息丢失。
- 消费者组:多个消费者可以形成一个组来共同处理消息,每个消息只会被一个消费者处理。
基本操作
# 生产者 - 添加消息到 Stream
XADD mystream * field1 value1 field2 value2# 消费者 - 读取消息
XREAD COUNT 1 STREAMS mystream 0
消费者组机制
通过 XGROUP 和 XREADGROUP 可以将多个消费者分组处理消息,适合高并发的任务分发场景。
# 创建消费者组
XGROUP CREATE mystream mygroup $ MKSTREAM# 消费者读取消息
XREADGROUP GROUP mygroup consumer1 COUNT 1 STREAMS mystream >
优点
- 支持消息持久化,保证消息不会丢失。
- 支持消费者组,实现高并发下的消息分发。
- 提供消息确认和重试机制,确保消息的可靠处理。
缺点
- 相对复杂,需要额外的学习成本和管理开销。
- 消息队列功能强大,但相比专业的消息队列如 Kafka 仍有性能和扩展性方面的局限。
Redis 消息队列的特点与优势
基于 Redis 实现的消息队列具有以下特点和优势:
- 高性能:Redis 是一个基于内存的数据库,读写性能极高,适合高并发的场景。
- 多种实现方式:Redis 提供了 List、Pub/Sub 和 Stream 多种数据结构,可以根据具体需求选择合适的实现方式。
- 简单易用:相比于专业的消息队列系统,Redis 消息队列的使用和部署非常简单,不需要额外的复杂配置。
- 多功能集成:除了消息队列功能外,Redis 还可以用作缓存、分布式锁等功能,具备很高的通用性。
Redis 消息队列的应用场景
- 任务异步处理:在电商系统中,可以使用消息队列来异步处理订单创建后的库存扣减、发票生成等任务。
- 日志处理:日志系统可以使用 Redis 消息队列将实时生成的日志推送到不同的处理节点,以实现日志的分布式处理。
- 实时通知:使用 Pub/Sub 模式可以实现实时的消息通知,如社交媒体的消息推送、新闻更新通知等。
- 流量削峰:在高并发的场景下,使用消息队列将突发的请求暂存并逐步处理,从而避免服务器过载。
Redis 消息队列的局限性及应对方案
尽管 Redis 作为消息队列有许多优点,但在一些场景中仍然存在局限性:
-
持久化不足:虽然 Redis 提供了持久化机制,但其核心是内存数据库,数据在持久化设置不当时仍可能丢失。解决方案是合理配置 RDB 或 AOF 持久化方式,或使用 Redis Stream 提供的持久化消息功能。
-
扩展性限制:Redis 的扩展性较专业的消息队列如 Kafka 有一定的局限,特别是在处理大规模数据时。应对方案是通过 Redis Cluster 实现水平扩展,或在业务体量较大时考虑使用专用的消息队列系统。
-
消费确认复杂:Redis 的 List 实现的队列不具备消息确认和重试机制,这会导致某些任务未能正确处理。可以通过手动实现消费确认机制,或使用 Redis Stream 实
现内置的消费确认。
总结
Redis 作为一种高性能的内存数据库,凭借其丰富的数据结构,可以有效地用作消息队列的实现。无论是简单的任务队列、实时的消息推送,还是复杂的持久化任务分发,Redis 都提供了灵活的解决方案。通过本文的介绍,开发者可以根据不同的业务需求,选择合适的 Redis 消息队列实现方式,提升系统的性能和可靠性。
Redis 消息队列虽不如专业的消息队列功能强大,但在轻量级场景下,它是一个非常理想的选择。
相关文章:
基于 Redis 实现消息队列的深入解析
目录 Redis 消息队列简介Redis 消息队列的实现方式 2.1 使用 List 实现简单队列2.2 使用 Pub/Sub 模式实现消息发布与订阅2.3 使用 Stream 实现高级队列 Redis 消息队列的特点与优势Redis 消息队列的应用场景Redis 消息队列的局限性及应对方案总结 Redis 消息队列简介 Redis…...
C++(string类的实现)
1. 迭代器、返回capacity、返回size、判空、c_str、重载[]和clear的实现 string类的迭代器的功能就类似于一个指针,所以我们可以直接使用一个指针来实现迭代器,但如下图可见迭代器有两个,一个是指向的内容可以被修改,另一个则是指…...
nrf 24l01使用方法
1、frequency 频率基础频率2.400G HZ RF_CH RF_CH10 CH2.4G0.01G2.41G 2、逻辑通道6个 pipe 时间片不同,占用同一个频率 发送时,只有一个pipe 接受时可以有6个pipe 3、通讯速率 air data rate rf_dr 寄存器设置 有两种速率 2M 1M RF_DR0 1M ,…...
C语言普及难度三题
先热个身,一个长度为10的整型数组,输出元素的差的max和min。 #include<stdio.h> int main() {int m[10],i0,max,min;for(i0;i<10;i){scanf("%d",&m[i]);}minm[0];maxm[0];for (i 0; i <10; i){if(min>m[i]) min m[i];i…...
10.4每日作业
C1 C2 C1 C2...
日常工作记录:服务器被攻击导致chattr: command not found
在深夜的寂静中,公司的服务器突然遭遇了一场突如其来的攻击。特别是nginx配置文件无法修改,仿佛预示着不祥的预兆,面对这突如其来的灾难,技术人员迅速响应。 这时候需要chattr,但是执行的chattr -i xxx的时候…...
多线程-初阶(1)
本节⽬标 • 认识多线程 • 掌握多线程程序的编写 • 掌握多线程的状态 • 掌握什么是线程不安全及解决思路 • 掌握 synchronized、volatile 关键字 1. 认识线程(Thread) 1.1 概念 1) 线程是什么 ⼀个线程就是⼀个 "执⾏流". 每个线…...
Spring Boot集成encache快速入门Demo
1.什么是encache EhCache 是一个纯 Java 的进程内缓存框架,具有快速、精干等特点,是 Hibernate 中默认的 CacheProvider。 Ehcache 特性 优点 快速、简单支持多种缓存策略:LRU、LFU、FIFO 淘汰算法缓存数据有两级:内存和磁盘&a…...
【C语言】数组练习
【C语言】数组练习 练习1:多个字符从两端移动,向中间汇聚练习2、二分查找 练习1:多个字符从两端移动,向中间汇聚 编写代码,演示多个字符从两端移动,向中间汇聚 练习2、二分查找 在⼀个升序的数组中查找指…...
微服务实战——ElasticSearch(保存)
商品上架——ElasticSearch(保存) 0.商城架构图 1.商品Mapping 分析:商品上架在 es 中是存 sku 还是 spu ? 检索的时候输入名字,是需要按照 sku 的 title 进行全文检索的检索使用商品规格,规格是 spu 的…...
leetcode练习 路径总和II
给你二叉树的根节点 root 和一个整数目标和 targetSum ,找出所有 从根节点到叶子节点 路径总和等于给定目标和的路径。 叶子节点 是指没有子节点的节点。 示例 1: 输入:root [5,4,8,11,null,13,4,7,2,null,null,5,1], targetSum 22 输出&a…...
使用Three.js库创建的简单WebGL应用程序,主要用于展示具有不同透明度和缩放比例的圆环列
上述HTML文档是一个使用Three.js库创建的简单WebGL应用程序,主要用于展示具有不同透明度和缩放比例的圆环列。以下是代码的详细解释: HTML结构: 文档类型声明为HTML5。<html>标签设置了语言属性为英语(lang"en")…...
Redis: 集群架构,优缺点和数据分区方式和算法
集群 集群指的就是一组计算机作为一个整体向用户提供一组网络资源 我就举一个简单的例子,比如百度,在北京和你在上海访问的百度是同一个服务器吗?答案肯定是不是的,每一个应用可以部署在不同的地方,但是我们提供的服务…...
负载均衡可以在网络模型的哪一层?
一、网络模型概述 网络模型是用于描述网络通信过程和网络服务的抽象框架。最常见的网络模型有两种:OSI(开放式系统互联)模型和TCP/IP模型。 OSI模型 OSI(Open Systems Interconnection)模型是由国际标准化组织&…...
YOLOv11改进 | 上采样篇 | YOLOv11引入CARAFE上采样
1. DySample介绍 1.1 摘要:特征上采样是许多现代卷积网络体系结构(如特征金字塔)中的关键操作。它的设计对于密集预测任务(如对象检测和语义/实例分割)至关重要。在本文中,我们提出了一个通用、轻量级、高效的特征重组算子CARAFE来实现这一目标.CARAFE有几个吸引人的特性…...
【Linux运维】grep命令粗浅学习
文章目录 1 背景介绍1.1 为什么要学习grep?1.2 grep是什么?1.3 grep可以做什么? 2 grep基本语法2.1 命令格式2.2 “PATTERN”部分中的正则表达式语法学习2.3 grep命令参数学习 3 典型案例3.1 匹配非空行,过滤纯空行3.2 匹配IPv4地…...
【Godot4.3】匀速和匀变速直线运动粒子
概述 本篇论述,如何用加速度在Godot中控制粒子运动。 匀速和匀变速直线运动的统一 以下是匀变速运动的速度和位移公式: v t v 0 a t x t v 0 t 1 2 a t 2 v_tv_0 at \\ x_tv_0t \frac{1}{2}at^2 vtv0atxtv0t21at2 当a 0 时…...
基于Hive和Hadoop的用电量分析系统
本项目是一个基于大数据技术的用电量分析系统,旨在为用户提供全面的电力消耗信息和深入的用电量分析。系统采用 Hadoop 平台进行大规模数据存储和处理,利用 MapReduce 进行数据分析和处理,通过 Sqoop 实现数据的导入导出,以 Spark…...
一个简单的摄像头应用程序4
我们进一步完善了这个app01.py,我们优化了界面使其更人性化,下面介绍中包含了原有的功能及新增的功能: 创建和管理文件夹: create_folder 函数用于创建保存照片和视频的文件夹。 get_next_file_number 函数用于获取文件夹中下一个可用的文件编号。 图像处理: pil_to_cv 函…...
SpringBoot使用EasyPoi根据模板导出word or pdf
1、导出效果 1.1 wrod 1.2 pdf 2、依赖 <!--word--><dependency><groupId>cn.afterturn</groupId><artifactId>easypoi-base</artifactId><version>4.3.0</version></dependency><dependency><groupId>cn.…...
(十)学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端,同时完善学生端的构建。本次工作主要包括: 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...
YSYX学习记录(八)
C语言,练习0: 先创建一个文件夹,我用的是物理机: 安装build-essential 练习1: 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件,随机修改或删除一部分,之后…...
微服务商城-商品微服务
数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
【JavaWeb】Docker项目部署
引言 之前学习了Linux操作系统的常见命令,在Linux上安装软件,以及如何在Linux上部署一个单体项目,大多数同学都会有相同的感受,那就是麻烦。 核心体现在三点: 命令太多了,记不住 软件安装包名字复杂&…...
使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台
🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型(LLM)的广泛应用,开发者常面临多个挑战: 各大模型(OpenAI、Claude、Gemini、Ollama)接口风格不统一;缺乏一个统一平台进行模型调用与测试;本地模型 Ollama 的集成与前…...
关键领域软件测试的突围之路:如何破解安全与效率的平衡难题
在数字化浪潮席卷全球的今天,软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件,这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下,实现高效测试与快速迭代?这一命题正考验着…...
HashMap中的put方法执行流程(流程图)
1 put操作整体流程 HashMap 的 put 操作是其最核心的功能之一。在 JDK 1.8 及以后版本中,其主要逻辑封装在 putVal 这个内部方法中。整个过程大致如下: 初始判断与哈希计算: 首先,putVal 方法会检查当前的 table(也就…...
C++.OpenGL (20/64)混合(Blending)
混合(Blending) 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...
MySQL JOIN 表过多的优化思路
当 MySQL 查询涉及大量表 JOIN 时,性能会显著下降。以下是优化思路和简易实现方法: 一、核心优化思路 减少 JOIN 数量 数据冗余:添加必要的冗余字段(如订单表直接存储用户名)合并表:将频繁关联的小表合并成…...
