当前位置: 首页 > news >正文

理解RabbitMQ中的消息存储机制:非持久化、持久化与惰性队列(Lazy Queue)

文章目录

    • 1. 非持久化消息(Transient Messages)
      • 内存压力处理
    • 2. 持久化消息(Persistent Messages)
    • 3. 惰性队列(Lazy Queue)
      • 官方推荐
    • 总结

在RabbitMQ中,消息的存储和处理方式可以根据不同的需求进行配置。主要有三种消息存储机制:非持久化消息、持久化消息和惰性队列。本文将详细探讨这些机制及其应用场景,并解释为什么惰性队列现在是默认的推荐配置。

1. 非持久化消息(Transient Messages)

非持久化消息的特点如下:

  • 存储在内存中:非持久化消息在RabbitMQ中只存储在内存中,不会主动写入磁盘。这样的设计使得消息处理速度非常快,因为内存访问速度远快于磁盘访问。
  • 易失性:由于消息只存在于内存中,如果RabbitMQ服务器发生重启或崩溃,所有未处理的非持久化消息都会丢失。这种消息不具备数据持久性。
  • 适用场景:非持久化消息适用于对数据可靠性要求不高的场景,例如实时日志、临时通知、瞬时数据传输等。

内存压力处理

当非持久化消息大量堆积,导致内存压力过大时,RabbitMQ会采取以下措施:

  • 流控机制:RabbitMQ会启用流控机制,减缓或限制消息的接收速度,以保护系统稳定性。
  • 丢弃消息:在极端情况下,RabbitMQ可能会选择丢弃部分非持久化消息,以释放内存空间。
  • PageOut机制:当内存达到极限时,RabbitMQ可能会将部分非持久化消息写入磁盘(PageOut)以防止系统崩溃。这是一种极端情况下的保护措施。

2. 持久化消息(Persistent Messages)

持久化消息具有以下特点:

  • 内存和磁盘双重存储:持久化消息在接收时会同时存储在内存和磁盘中。这保证了即使RabbitMQ服务器重启或崩溃,消息也不会丢失。
  • 同步写入磁盘:持久化消息会同步写入磁盘,确保数据的持久性。这种机制虽然增加了一些处理延迟,但大大提高了消息的可靠性。
  • 适用场景:适用于需要确保消息不丢失的关键业务场景,如订单处理、交易信息等。

3. 惰性队列(Lazy Queue)

惰性队列是一种特殊的消息存储机制,专为处理大规模消息积压问题而设计。从RabbitMQ 3.6.0版本引入惰性队列以来,到3.12版本之后,惰性队列已经成为默认的队列类型。其特点如下:

  • 直接存入磁盘:惰性队列中的消息在接收时直接存入磁盘,而不是首先存入内存。这大大减少了内存的使用量。
  • 懒加载:只有在消费者准备消费消息时,消息才会从磁盘中读取并加载到内存中进行处理。
  • 支持大规模消息存储:惰性队列能够支持数百万条消息的存储,适用于高消息量和长时间积压的场景。
  • 降低内存压力:通过减少内存使用,避免了因消息积压导致的内存溢出问题,提高系统的稳定性。

官方推荐

从RabbitMQ 3.12版本开始,惰性队列成为默认队列类型。官方推荐将RabbitMQ升级到3.12版本或更高版本,以利用惰性队列的优势:

  • 提高系统稳定性:通过减少内存使用,惰性队列有效避免了因消息积压导致的内存压力问题。
  • 适应大规模消息堆积:惰性队列能够处理和存储大量消息,适用于需要高吞吐量的应用场景。
  • 优化资源使用:惰性队列使得系统资源利用更高效,特别是在消息量波动较大的情况下。

总结

  • 非持久化消息:仅存储在内存中,不会主动写入磁盘。适用于对可靠性要求不高、需要快速处理的场景。当内存压力过大时,可能触发流控或PageOut机制。
  • 持久化消息:同时存储在内存和磁盘中,确保消息的可靠性。适用于需要确保消息不丢失的关键业务。
  • 惰性队列:消息直接存入磁盘,减少内存使用,适用于大规模消息堆积的场景,避免内存压力。自3.12版本起成为默认队列类型,并受到官方推荐。

通过了解这些消息存储机制及其应用场景,开发者可以更好地利用RabbitMQ的功能,优化消息处理流程,提升系统性能和可靠性。

相关文章:

理解RabbitMQ中的消息存储机制:非持久化、持久化与惰性队列(Lazy Queue)

文章目录 1. 非持久化消息(Transient Messages)内存压力处理 2. 持久化消息(Persistent Messages)3. 惰性队列(Lazy Queue)官方推荐 总结 在RabbitMQ中,消息的存储和处理方式可以根据不同的需求…...

【机器学习】BP神经网络正向计算

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 BP神经网络正向计算1. 引言2. BP神经网络结构回顾3. 正向计算的基本原理4. 数学…...

谷粒商城实战笔记-108~109-elasticsearch删除与批量导入

一,108-全文检索-ElasticSearch-入门-put&post修改数据 第一种更新方式: POST customer/external/1/_update {"doc":{"name": "John Doew"} }第二种更新方式: POST customer/external/1 { "name&q…...

RabbitMQ:发送者的可靠性之使用消息确认回调

文章目录 配置RabbitMQ的ConfirmCallback使用ConfirmCallback发送消息实际使用中的注意事项总结 在开发消息驱动的系统时,消息的可靠传递至关重要。而RabbitMQ作为一个广泛使用的消息队列中间件,提供了多种消息确认机制,确保消息从生产者到交…...

HCIP学习 | OSPF---LSA限制、不规则区域、附录E、选路

目录 Days06(24.8.8)OSPF---LSA限制、不规则区域、附录E、选路 特殊区域 stub 区域, 末节区域 Totally stub :完全的末节区域 NSSA区域:(not so stub area) 非完全末节区域 完全的非完全的末节区域: …...

CVE-2017-15715~Apache解析漏洞【春秋云境靶场渗透】

Apache解析漏洞 漏洞原理 # Apache HTTPD 支持一个文件拥有多个后缀,并为不同后缀执行不同的指令。比如如下配置文件: AddType text/html .html AddLanguage zh-CN .cn# 其给 .html 后缀增加了 media-type ,值为 text/html ;给 …...

thinkphp 5.0.24生成模块

访问的形式生成模块: 1、需要在入口文件Public/index.php中加入以下代码: //生成Home模块,添加以下这句后,打开浏览器执行:http://www3.phptp5.com/public/index.php自动生成Home模块 \think\Build::module(Home); …...

值得注意!家里有带毛发动物就有浮毛?宠物空气净化器一键净化

上次跟朋友逛完街去她家,她家热情的哈基米开门就一个猛冲,我朋友接住就是一顿猛亲,亲猫一时爽,汗液粘着猫毛,粘得满手臂、满脸都是,看得鼻炎星人头皮发麻...好多养宠物的都说,梳毛根本不管用&am…...

Linux 代理(proxy)设置

有关网络代理的环境变量 环境变量说明可选的取值http_proxyhttp协议的网络连接使用该代理。ip:porthttp://ip:portsocks://ip:portsocks4://ip:portsocks5://ip:porthttps_proxyhttps协议的网络连接使用该代理。ftp_proxyftp协议使用该代理。all_proxy所有网络协议的网络连接都…...

操作系统真相还原:获取文件属性

14.15 获得文件属性 14.15.1 ls命令的幕后功臣 ls 命令中调用了大量的系统调用 stat64 和write ,其中stat64 用于获得文件的属性信息, write 用于把信息输出到屏幕,即标准输出。这里的 stat64 表示 64 位版本的 stat。 其函数原型是int sta…...

聚鼎装饰画:投资一家装饰画店铺要花费多少钱

在艺术的殿堂里,每一幅装饰画都是静默的诗篇,而开设一家装饰画店铺,便是将这份静谧与美好呈现给世界的开始。然而,背后的投资成本,却是一笔需要精打细算的账。 店铺的选址,犹如画家挑选画布,至关…...

编程的魅力、其重要性、学习方法以及未来趋势

在数字化时代,编程已不仅仅是程序员的专属技能,它逐渐渗透到我们生活的方方面面,成为连接现实与虚拟世界的桥梁。从日常使用的智能手机应用到探索宇宙奥秘的超级计算机,编程的力量无处不在。本文将深入探讨编程的魅力、其重要性、…...

ubuntu init set

1 cuda驱动 cuda use not open test 自己下载安装 以上操作后可能是核显卡,需要执行下列进入独立显卡,才能进行HDMI链接 sudo prime-select nvidia sudo prime-select intel prime-select query 该命令用于查看目前的显卡使用模式,可以看到…...

MySQL数据分析进阶(八)存储过程

※食用指南:文章内容为‘CodeWithMosh’SQL进阶教程系列学习笔记,笔记整理比较粗糙,主要目的自存为主,记录完整的学习过程。(图片超级多,慎看!) 【中字】SQL进阶教程 | 史上最易懂S…...

最深的根,

1498. 最深的根 题目 提交记录 讨论 题解 视频讲解 一个无环连通图可以被视作一个树。 树的高度取决于所选取的根节点。 现在,你要找到可以使得树的高度最大的根节点。 它被称为最深的根。 输入格式 第一行包含整数 NN,表示节点数量。 节点…...

【常见的设计模式】工厂模式

【设计模式专题之工厂方法模式】2.积木工厂   题目描述 小明家有两个工厂,一个用于生产圆形积木,一个用于生产方形积木,请你帮他设计一个积木工厂系统,记录积木生产的信息。   输入描述 输入的第一行是一个整数 N(1 …...

postgres收缩工具两种工具的使用对比

postgres收缩工具安装和使用 第一章 需要使用插件处理膨胀的原因 Postgresql通过数据多版本实现MVCC,现象是删除数据并不会真正删除数据,而是修改标识,更新是通过删除+插入的方式进行,所以在频繁更新的OLTP系统,会造成数据膨胀。 PG数据库本身有处理膨胀问题的vacuum工…...

仿真入门——CST软件如何设置分布式计算的共享储存

在 CST Studio Suite 的分布式计算中,常有用户因为某台机器的网络问题丢失某个数据。这里介绍一种方法,可以在使用分布式计算或 MPI 计算时设置共享存储。在这种情况下,不涉及文件传输,所有文件操作都在共享文件的媒介上完成。 数…...

【JVM基础17】——实践-说一下JVM调优工具

目录 1- 引言:2- ⭐核心:2-1 命令工具jpsjstackjmapjstat 2-2 可视化工具jconsoleVisualVM 3- 小结:3-1 说一下 JVM 调优的工具 1- 引言: 命令工具 jps——进程状态信息jstack——查看Java进程内线程的堆栈信息jmap——查看堆转…...

【QT】Qt中Websocket的使用

一、WebSocket的定义 WebSocket是一种在单个TCP连接上进行全双工通信的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455,并由RFC7936补充规范。WebSocket API也被W3C定为标准。 WebSocket使得客户端和服务器之间的数据交换变得更加简单,…...

Cuvil加速PyTorch模型推理:3大编译策略、2类IR优化陷阱与1套量化部署 checklist

第一章:Cuvil加速PyTorch模型推理:3大编译策略、2类IR优化陷阱与1套量化部署 checklistCuvil 是一个面向 PyTorch 生态的高性能模型编译器,专为边缘与云上低延迟推理场景设计。其核心能力在于将 TorchScript 或 FX Graph 表示的模型&#xff…...

Qwen3智能字幕对齐系统开发环境搭建:基于IDEA的Java SDK调试指南

Qwen3智能字幕对齐系统开发环境搭建:基于IDEA的Java SDK调试指南 如果你是一名Java开发者,最近想尝试接入Qwen3智能字幕对齐系统的能力,比如为视频自动生成精准的字幕时间轴,那么这篇文章就是为你准备的。今天,我们不…...

Qwen3-ForcedAligner-0.6B与Python爬虫结合:自动采集语音数据并对齐

Qwen3-ForcedAligner-0.6B与Python爬虫结合:自动采集语音数据并对齐 1. 引言 语音数据处理一直是人工智能领域的热门话题,但很多开发者在实际项目中都会遇到这样的问题:如何快速获取大量的语音数据?如何让文本和语音精确对齐&am…...

Nunchaku FLUX.1 CustomV3快速上手:5步搞定AI绘画,新手也能秒出图

Nunchaku FLUX.1 CustomV3快速上手:5步搞定AI绘画,新手也能秒出图 1. 为什么选择Nunchaku FLUX.1 CustomV3 如果你正在寻找一款既强大又易用的AI绘画工具,Nunchaku FLUX.1 CustomV3绝对值得尝试。这个定制版本在原有Nunchaku FLUX.1-dev模型…...

PyTorch 2.8深度学习镜像部署:RTX 4090D下NVIDIA Triton模型仓库构建

PyTorch 2.8深度学习镜像部署:RTX 4090D下NVIDIA Triton模型仓库构建 1. 镜像环境概述 PyTorch 2.8深度学习镜像为RTX 4090D显卡量身打造,基于CUDA 12.4深度优化,提供开箱即用的高性能计算环境。这个镜像特别适合需要大规模并行计算和高效内…...

kotlin协程取消执行

取消启动协程的整个scope,该scope下面的所有协程都会被取消。协程内部是通过抛出一个特殊的异常来实现取消的:CancellationException。如果想在取消时传递取消的原因,可以在调用cancel时主动提供一个CancellationException的实例:…...

OpenClaw隐私保护:Qwen3.5-9B本地处理敏感数据的实践

OpenClaw隐私保护:Qwen3.5-9B本地处理敏感数据的实践 1. 为什么需要本地化处理敏感数据? 去年我在处理一批客户调研报告时,曾遇到一个尴尬场景:当我把包含联系方式和消费习惯的Excel表格上传到某云端AI分析平台后,突…...

深入浅出Linux ftrace:从内核配置到实战分析(附debugfs挂载全流程)

深入浅出Linux ftrace:从内核配置到实战分析 在Linux系统开发与调试过程中,内核级追踪工具的重要性不言而喻。面对复杂的系统行为、性能瓶颈或难以复现的偶发问题,传统的日志和调试手段往往力不从心。ftrace作为Linux内核原生提供的轻量级追踪…...

OpenClaw数据标注:Qwen3.5-9B-AWQ-4bit辅助制作AI训练数据集

OpenClaw数据标注:Qwen3.5-9B-AWQ-4bit辅助制作AI训练数据集 1. 为什么需要AI辅助数据标注 作为一个经常折腾个人机器学习项目的开发者,数据标注一直是我最头疼的环节。上周在做一个垃圾分类模型时,面对2000多张待标注的垃圾图片&#xff0…...

OpenClaw调试技巧:千问3.5-9B任务失败日志分析方法

OpenClaw调试技巧:千问3.5-9B任务失败日志分析方法 1. 为什么需要关注OpenClaw任务日志 上周我在尝试用OpenClaw自动整理技术文档时,遇到了一个诡异现象:任务明明显示"执行成功",但最终输出的Markdown文件却缺失了关键…...