RocketMQ重复消费的症状以及解决方案
RocketMQ重复消费的症状以及解决方案
生产消息时重复
症状
当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
方案
- 避免消费重复产生，找到原因，并做代码的限制。
- 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。
- 消费数据时，通过订阅的记录和消费的结果来判断，此消息是否重复订阅过，如果重复订阅，则不在数据库中插入数据。
消费消息时重复
症状
消息已投递到 消费者 并完成业务处理，当 消费者 给 MQ 反馈应答的时候网络闪断。 为了保证消息至少被消费一次，消息队列 MQ 的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
方案
- 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。
消费时出现异常
症状
消息已投递到 消费者 并完成 业务A 处理，但是 业务B 处理时，发生异常，造成该条消息会标记 消费失败 ，那么为了保证消息至少被消费一次，该条消息会消费多次，直到达到消费16次，会自动放入死信队列。
方案
- 分布式事务锁（一般是zookeeper和redis搭建）
相关文章：
RocketMQ重复消费的症状以及解决方案
RocketMQ重复消费的症状以及解决方案 生产消息时重复 症状 当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者…...
数字化时代，企业的商业模式建设
随着新一代信息化、数字化技术的应用，众多领域通过科技革命和产业革命实现了深度化的数字改造，进入到以数据为核心驱动力的，全新的数据处理时代，并通过业务系统、商业智能BI等数字化技术和应用实现了数据价值，从数字经…...
项目实战典型案例23——-注册上nacos上的部分服务总是出现频繁掉线的情况
注册上nacos上的部分服务总是出现频繁掉线的情况一：背景介绍二：思路&方案解决问题过程涉及到的知识nacos服务注册和服务发现一：背景介绍 spring cloud项目通过nacos作为服务中心和配置中心，出现的问题是其中几个服务总是出现…...
玩转金山文档 3分钟让你的文档智能化
在上个月底，我们给大家推荐了金山轻维表的几个使用场景，社群中不少用户反响很好，对其中一些场景的解决方案十分感兴趣。但也有一些人表示，有些场景不知道如何实现，希望我们能提供模版/教程。这次我们将做一期热门模板盘…...
安装了nodejs怎么安装nvm
第一步，从控制面板卸载已经安装的node 第二步，删除C盘program开头文件夹下的node文件 第三步，去C/user/用户名 文件夹下，删除.npmrc文件 第四步，打开隐藏文件，第三步文件夹下有一个Appdata文件ÿ…...
java安全编码规范考试
java安全编码规范考试 整理不易，收点币！！ 安全编码规范考试.md 下面对zip文件的安全解压缩描述，错误的是 A.zip文件解压时，可以使用entry.getSize(）对解压缩文件进行文件大小判断 B.zip文件解压时&…...
表格检测识别技术的发展历程
近年来，随着计算机技术的飞速发展，越来越多的研究者开始关注表格检测识别技术。表格检测识别技术是一种利用计算机自动处理表格的技术，它可以实现从文本中检测出表格，并进行识别和提取。这种技术有助于提高文本处理的效率…...
设计UI - Adobe xd对象介绍
矩形工具 新建矩形 操作步骤：选择矩形工具，快捷键R，鼠标在画板上拖出矩形即可。 拖动定界框周围圆形手柄，可快速调整矩形大小，也可以输入宽和高的参数对矩形大小进行改变。 移动矩形 操作步骤：选择选择工具…...
优思学院｜精益生产中的“单件流”真的能够做到吗？
精益生产中提到的“一个流”（One Piece Flow）是一种生产方式，它的核心理念是通过合理配置作业场地、人员和设备，使产品从投入到成品产出的整个制造加工过程中始终处于不停滞、不堆积、不超越，按节拍一个一个地流动。 …...
移除元素问题解决方法------LeetCode-OJ题
问题： 给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素，并返回移除后数组的新长度。 要求： 不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并 原地 修改输入数组。 元素的顺序可以改…...
JavaScript学习笔记（1.0）
push() 语法：数组.push(数据) 作用：将数据追加到数组的末尾 返回值：追加数据后数组最新的长度 pop() 语法：数组.pop() 作用：删除数组最后一个数据 返回值：被删除的数据 unshift() 语法：数…...
FCN网络介绍
目录前言一.FCN网络二.网络创新点前言 在图像分割领域，有很多经典的网络，如MASK R-CNN，U-Net，SegNet，DeepLab等网络都是以FCN为基础进行设计的。我们这里简单介绍一下这个网络。 一.FCN网络 FCN网络介绍 FCN 即全…...
Idea+maven+spring-cloud项目搭建系列--11 整合dubbo
前言： 微服务之间通信框架dubbo，使用netty （NIO 模型）完成RPC 接口调用； 1 dubbo 介绍： Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提…...
2023年上半年北京杭州/广州深圳软考中/高级报名入口
软考是全国计算机技术与软件专业技术资格（水平）考试（简称软考）项目，是由国家人力资源和社会保障部、工业和信息化部共同组织的国家级考试，既属于国家职业资格考试，又是职称资格考试。 系统集成…...
jupyter notebook配置和使用
简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 参考博客：https://zhuanlan.zhihu.com/p/33105153 特点 ①编程时具有语法高亮、缩进、tab补全的功能。 ② 可直接通过浏览器…...
【C++】通过stack、queue、deque理解适配器模式
破镜不能重圆，枯木可以逢春。 文章目录一、stack1.stack的介绍2.stack相关OJ题（巧妙利用stack数据结构的特征）3.stack的模拟实现二、queue1.queue的介绍2.queue的相关OJ题（巧妙利用queue数据结构的特征）3.queue的模拟实…...
JavaScript 高级实例集合
文章目录JavaScript 高级实例集合创建一个欢迎 cookie简单的计时另一个简单的计时在一个无穷循环中的计时事件带有停止按钮的无穷循环中的计时事件使用计时事件制作的钟表创建对象的实例创建用于对象的模板JavaScript 高级实例集合 创建一个欢迎 cookie 源码 <!DOCTYPE ht…...
Flutter（五）容器类组件
布局类组件包含多个子组件，而容器类组件只包含一个子组件 目录填充（Padding）装饰容器（DecoratedBox）变换（Transform）Transform.translate 平移Transform.rotate 旋转Transform.scale 缩放Rotate…...
实现满屏品字布局
html, body {width: 100%;height: 100%;}.first {width: 50%;height: 50%;margin: auto;background-color: pink;}.second {width: 50%;height: 50%;float: left;background-color: greenyellow;}.third {width: 50%;height: 50%;float: left;background-color: yellow;}...
软件测试-性能测试-基础知识
文章目录 1.性能测试理论1.1 相关概念1.2 性能测试指标2.性能测试策略2.1 基准测试2.2 负载测试2.3 稳定性测试2.4 其他测试策略3.性能测试的流程3.1 需求分析3.2 编写性能测试计划和方案3.3 编写性能测试用例3.4 性能测试执行3.5 性能测试报告4.性能测试工具4.1 Loadrunner4.2…...
内存分配函数malloc kmalloc vmalloc
内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...
synchronized 学习
学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...
CTF show Web 红包题第六弹
提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...
label-studio的使用教程(导入本地路径)
文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...
DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”
目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...
Mobile ALOHA全身模仿学习
一、题目 Mobile ALOHA：通过低成本全身远程操作学习双手移动操作 传统模仿学习（Imitation Learning）缺点：聚焦与桌面操作，缺乏通用任务所需的移动性和灵活性 本论文优点：（1）在ALOHA…...
SAP学习笔记 - 开发26 - 前端Fiori开发 OData V2 和 V4 的差异 (Deepseek整理）
上一章用到了V2 的概念，其实 Fiori当中还有 V4，咱们这一章来总结一下 V2 和 V4。 SAP学习笔记 - 开发25 - 前端Fiori开发 Remote OData Service(使用远端Odata服务)，代理中间件（ui5-middleware-simpleproxy）-CSDN博客…...
#Uniapp篇：chrome调试unapp适配
chrome调试设备----使用Android模拟机开发调试移动端页面 Chrome://inspect/#devices MuMu模拟器Edge浏览器：Android原生APP嵌入的H5页面元素定位 chrome://inspect/#devices uniapp单位适配 根路径下 postcss.config.js 需要装这些插件 “postcss”: “^8.5.…...
Java求职者面试指南：Spring、Spring Boot、MyBatis框架与计算机基础问题解析
Java求职者面试指南：Spring、Spring Boot、MyBatis框架与计算机基础问题解析 一、第一轮提问（基础概念问题） 1. 请解释Spring框架的核心容器是什么？它在Spring中起到什么作用？ Spring框架的核心容器是IoC容器&#…...
android13 app的触摸问题定位分析流程
一、知识点 一般来说，触摸问题都是app层面出问题，我们可以在ViewRootImpl.java添加log的方式定位；如果是touchableRegion的计算问题，就会相对比较麻烦了，需要通过adb shell dumpsys input > input.log指令，且通过打印堆栈的方式，逐步定位问题，并找到修改方案。 问题…...