RocketMQ生产环境常见问题分析与总结
RocketMQ生产环境常见问题分析与总结
如何保证消息不丢失
- 消息丢失场景
- 对于跨网络的节点可能会丢消息，因为MQ存盘都会先写入OS的PageCache中，然后再让OS进行异步刷盘，如果缓存中的数据未及时写入硬盘就会导致消息丢失
- 生产端到Broker端
- Broker端主从同步
- Broker端到消费端
- 对于跨网络的节点可能会丢消息，因为MQ存盘都会先写入OS的PageCache中，然后再让OS进行异步刷盘，如果缓存中的数据未及时写入硬盘就会导致消息丢失
- 消息零丢失方案
- 生产端使用事务机制
- 当生产端将消息发送到Broker端，Broker端持久化之后会给生产端进行反馈，此时的消息处于半事务消息，生产端执行本地事务根据执行结果向Broker端提交二次确认来判断是否提交以及回滚，此时如果生产端出现故障，Broker端未收到二次确认，会通过回查机制进行生产端实例回查，生产端收到回查后会继续向Broker端进行二次确认
- 同步刷盘以及P2C两阶段提交(与ZAB机制类似)保证MQ主从同步时不会丢消息(同步刷盘 + Dledger主从架构)
- 同步刷盘
- P2C两阶段提交
- 基于Raft协议完成
- leader收到的消息会被标记为未提交然后同步给其它follower，follower收到消息后向leader反馈，当leader收到过半的follower的反馈之后才会将消息标记为已提交并且同步给其它follower
- 基于Raft协议完成
- 消费者端不要使用异步消费机制
- 在同步消费情况下，消费完消息之后再去给Broker端反馈，然后Broker端会去维护消息偏移量，如果消费失败可以进行一定次数的重试
- 在异步消费情况下，消费完消息的同时也会向Broker端反馈，然后Broker端会去维护消息偏移量，如果处理失败了，不会进行重试因为偏移量已经变更
- MQ服务端挂了采用降级方案(必须有)
RocketMQ特有的问题，NameServer挂了如何保证消息不丢失- NameServer在RocketMQ中扮演路由中心的角色，提供Broker的路由功能，所有MQ都需要路由中心的功能
- 在Kafka中使用ZK和作为核心控制器的Broker一起来提供路由服务
- 在RabbitMQ中是由每一个Broker来提供路由服务的
- 在RockertMQ中单独抽取服务作为路由中心
- 对于RocketMQ来说，NameServer挂了，本身就无法保证消息不丢失了，所以应对这种场景，我们可以使用服务降级方案，将消息暂存到Redis、文件或内存中，等MQ服务恢复之后再将消息转移过去
- NameServer在RocketMQ中扮演路由中心的角色，提供Broker的路由功能，所有MQ都需要路由中心的功能
- 生产端使用事务机制
如何保证消息有序
-
MQ的顺序包含局部有序和全局有序
-
局部有序:(只保证一部分消息链路消费有序)
- 生产端可以通过消息选择器指定发送到某个MessageQueue，从而保证局部有序
-
全局有序:(整个消息链路严格按照先进先出的顺序进行消费)
- 要保证全局有序就必须牺牲吞吐量，也就是一个topic只能有一个MessageQueue被消费(默认4个)，可以通过锁队列的方式进行消费，保证全局有序
-
如何快速处理积压消息
-
对于Kafka和RocketMQ消息积压并不会对性能有太大的影响，但是对于RabbitMQ就会导致性能直线下降
-
如何确定RocketMQ有大量的消息积压
- 对于RocketMQ可以通过控制台查看消息的积压情况
-
如何处理大量积压的消息- 通过增加消费者去加快消费
- 如果Topic下的MessageQueue配置充足，那每个消费者会分配多个MessageQueue进行消费，所以可以增加消费者数加快消息消费，
- 如果消费者数 = MessageQueue数，此时增加额外的消费者效果是没有的，此时可以通过新建一个新的Topic配置足够的MessageQueue，将旧Topic中的消息转移到新Topic中，并且指定对应数量的消费者去平摊新Topic的MessageQueue去进行消费，之后再根据情况恢复原有情况
- Topic_A -> Consumer_A => Topic_A -> Consumer_A -> Topic_B -> Consumer_B
- 通过增加消费者去加快消费
相关文章：
RocketMQ生产环境常见问题分析与总结
RocketMQ生产环境常见问题分析与总结 如何保证消息不丢失 消息丢失场景 对于跨网络的节点可能会丢消息，因为MQ存盘都会先写入OS的PageCache中，然后再让OS进行异步刷盘，如果缓存中的数据未及时写入硬盘就会导致消息丢失 生产端到Broker端Brok…...
)
前端打包工具的发展历程、思路(grunt,gulp,webpack,vite)
现在前端发展真快，需要学的东西太多了，下面总结下前端打包的发展过程，便于区分和选择学习。 什么是前端打包 前端打包是指将多个JavaScript文件、CSS文件、图片等资源进行合并和优化处理,并输出为一个或多个文件的过程。这样做的目的是减少…...
利用Python将文件夹下多个txt文本写入到同一个excel中（每一个文件占一行）
1、 将文件夹下多个txt文本写入到同一个excel中（每一个文件占一行）: # -*- coding: utf-8 -*- import os import pandas as pd# 获取文件夹中的所有txt文件 folder_path rG:\Cygwin\ txt_files [f for f in os.listdir(folder_path) if f.endswith(.t…...
通过Colab部署Google最新发布的Gemma模型
Gemma的简单介绍 Gemma 是一系列轻量级、最先进的开放式模型，采用与创建 Gemini 模型相同的研究和技术而构建。 Gemma 由 Google DeepMind 和 Google 的其他团队开发，其灵感来自 Gemini，其名称反映了拉丁语 gemma，意思是“宝石”…...
spring中@validate注解使用
在 Java 中，我们可以使用注解和 validate 实现对实体类中字段的校验。其中，注解用来定义字段的约束条件，而 validate 则用来进行实际的校验操作。 常用的校验注解包括 NotNull、NotEmpty、Size、Min、Max 等，它们可以帮助我们规定…...
停车场管理（C语言）
【题目描述】停车场管理。设有一个可以停放n辆汽车的狭长停车场，它只有一个大门可以供车辆进出。车辆按到达停车场时间的先后次序依次从停车场最里面向大门口处停放 (即最先到达的第一辆车停放在停车场的最里面) 。如果停车场已放满n辆车，则以后到达的车…...
探索无限：Sora与AI视频模型的技术革命 - 开创未来视觉艺术的新篇章
✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨ 🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua，在这里我会分享我的知识和经验。&#x…...
375FPS! 谷歌提出MaskConver“重校正用于全景分割的纯卷积模型
https://arxiv.org/2312.06052 近年来，基于Transformer的模型由于其强大的建模能力以及对语义类和实例类的统一表示为全局二值掩码，在全景分割中占据主导地位。 在本文中，我们回顾了纯粹的卷积模型，并提出了一种新的结构MaskConve…...
leetcode初级算法（python）- 数组
文章目录 1.从排序数组中删除重复项2.买卖股票最佳时机23.旋转数组运行颠倒列表法整体移动元素块法4.存在重复运行包含判断法排序比较判断法运行集合判断法5.只出现一次的数字6.两个数组的交集27.移动零8.两数之和9.旋转图像这篇博客中的代码都是数组计算。 1.从排序数组中删除…...
重新定义音乐创作：ChatGPT与未来音乐产业的融合
### 重新定义音乐创作：ChatGPT与未来音乐产业的融合 随着人工智能技术的飞速发展，ChatGPT不仅在文字创作领域大放异彩，也正逐步渗透并重塑音乐产业的未来。这种先进的语言模型，如今已成为音乐家、作曲家和制作人们手中的一把利剑…...
人工智能绘画的时代下到底是谁在主导,是人类的想象力,还是AI的创造力?
#ai作画 目录 一.AI绘画的概念 1. 数据集准备： 2. 模型训练： 3. 生成绘画： 二.AI绘画的应用领域 三.AI绘画的发展 四.AI绘画背后的技术剖析 1.AI绘画的底层原理 2.主流模型的发展趋势 2.1VAE — 伊始之门 2.2GAN 2.2.1GAN相较于…...
[HTML]Web前端开发技术29（HTML5、CSS3、JavaScript ）JavaScript基础——喵喵画网页
希望你开心，希望你健康，希望你幸福，希望你点赞！ 最后的最后，关注喵，关注喵，关注喵，佬佬会看到更多有趣的博客哦！！！ 喵喵喵，你对我真的很重要！ 目录 前言 上一节的课后练习...
文本编辑器markdown语法
markdown语法 1.介绍 Markdown是一种使用一定的语法将普通的文本转换成HTML标签文本的编辑语言，它的特点是可以使用普通的文本编辑器来编写，只需要按照特定的语法标记就可以得到丰富多样的HTML格式的文本。 2.标题分级 "# " -> 一级标题 &…...
【C++】类和对象之拷贝构造函数篇
个人主页 ： zxctscl 文章封面来自：艺术家–贤海林 如有转载请先通知 文章目录 1. 前言2. 传值传参和传引用传参3. 概念4. 特征 1. 前言 在前面学习了6个默认成员函数中的构造函数和析构函数 【C】构造函数和析构函数详解，接下来继续往后看拷…...
Mybatisplus 传参参数为自定义sql， 使用条件构造器作为参数
1 pom依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.1</version> </dependency> 2 mapper 接口文件 List<TBookOrder> searchDiy(Param(Const…...
C#与VisionPro联合开发——TCP/IP通信
TCP/IP（传输控制协议/互联网协议）是一组用于在网络上进行通信的通信协议。它是互联网和许多局域网的基础，为计算机之间的数据传输提供了可靠性、有序性和错误检测。在软件开发中，TCP/IP 通信通常用于实现网络应用程序之间的数据交…...
spring Boot快速入门
快速入门为主主要届介绍java web接口API的编写 java编辑器首选IntelliJ IDEA 官方链接：https://www.jetbrains.com/idea/ IEDA 前言 实例项目主要是web端API接口的使用，项目使用mysql数据库，把从数据库中的数据的查询出来后通过接口json数…...
)
FPGA SERDESE2 (SDR收发仿真)
高速 Serdes 环路测试 高速串行通信优势非常巨大，只需要很少的IO引脚就可以实现高速通信，这也是当今FPGA高速接口的核心 技术。比如XILINX的7代FPGA，GTX可以达到10.3125Gbps,ultrascale FPGA的GTH可以达到16Gbps。目前国产FPGA还难以达到这么高的接口速度。 高速串行通信经…...
Java异常体系结构核心解析-Throwable
资料不在于多，而在于精。好资料、好书，我们站在巨人的肩膀上前行，可以少走很多弯路。 通过搜索引擎找到自己需要的最好最权威信息，是一种很重要的能力。 Java源代码和官方资料Java™ Tutorials Java异常体系结构，是一种…...
Android MediaRecorder 相关
Android MediaRecorder 相关 本篇文章主要介绍下MediaRecorder类. 1:创建对象 MediaRecorder mediaRecordernew MediaRecorder();MediaRecorder可以直接通过无参构造直接创建对象. 2: 音频源 通过调用setAudioSource(int audio_source)来设置音频源,可以是麦克风.音频文件…...
【Python】 -- 趣味代码 - 小恐龙游戏
文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...
2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
linux arm系统烧录
1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 （忘了有没有这步了 估计有） 刷机程序 和 镜像 就不提供了。要刷的时…...
镜像里切换为普通用户
如果你登录远程虚拟机默认就是 root 用户，但你不希望用 root 权限运行 ns-3（这是对的，ns3 工具会拒绝 root），你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案：创建非 roo…...
【Java_EE】Spring MVC
目录 Spring Web MVC 编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 编辑参数重命名 RequestParam 编辑编辑传递集合 RequestParam 传递JSON数据 编辑RequestBody …...
Unit 1 深度强化学习简介
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...
多种风格导航菜单 HTML 实现（附源码）
下面我将为您展示 6 种不同风格的导航菜单实现，每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...
让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中，损失函数的选择对模型性能具有决定性影响。均方误差（MSE）作为经典的损失函数，在处理干净数据时表现优异，但在面对包含异常值的噪声数据时，其对大误差的二次惩罚机制往往导致模型参数…...
短视频矩阵系统文案创作功能开发实践，定制化开发
在短视频行业迅猛发展的当下，企业和个人创作者为了扩大影响力、提升传播效果，纷纷采用短视频矩阵运营策略，同时管理多个平台、多个账号的内容发布。然而，频繁的文案创作需求让运营者疲于应对，如何高效产出高质量文案成…...
LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块，用于对本地知识库系统中的知识库进行增删改查（CRUD）操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...