任务调度框架-如何实现定时任务+RabbitMQ事务+手动ACK
任务调度框架
Java中如何实现定时任务?
比如:
1.每天早上6点定时执行
2.每月最后一个工作日,考勤统计
3.每个月25号信用卡还款
4.会员生日祝福
5.每隔3秒,自动提醒
10分钟的超时订单的自动取消,每隔30秒或1分钟查询一次订单,拿当前的时间上前推10分钟
定时任务,资源会有误差的存在,如果使用定时任务
定时任务,用于统计的时候最多。
自动统计考勤,一般0点之后开始统计,可以使用定时任务
nacos心跳
晚上要求和采购部门生成采购单,达到最低预警值的时候,去发给采购部门
我们可以通过任务调度框架实现上述的需求
任务调度框架,可以实现定时任务,实现间隔多少时间的重复执行,实现指定日期的重复执行
电商自动好评,间隔时间长的,误差几分钟,影响不大。
java中任务调度框架:
1、Spring Task spring自带的
2、Quartz 古老的框架
3、XXL-Job
4、第三方云平台-比如说:阿里云-SchedulerX等等
选择一个:Spring Task
2个注解+
包:task任务、job
使用步骤:
1、开关类,使用注解
@EnableScheduling // 开启任务调度
2、定义定时任务
@Scheduled(cron = "0/3 * * * ?")
CORN表达式:
秒 分 时 日 月 星期几 年 其中,只有年可以省略
定时任务,需要重复执行的方法
CORN表达式:
特殊字符串,主要用来描述时间的,用于任务调度等
https://cron.qqe2.com/
/ 间隔
- 是连续
, 枚举值
L 最后,星期、日中用
W 有效工作日
LW 某个月最后一个工作日
# 用于确定每个月第几个星期几,母亲节或父亲节
4#2 某个月的第二个星期三 4代表星期三,中文的时候有可能不影响
项目名:SpringTask01
Spring Web、Lombok
RabbitMq实现延迟:
死信+延迟消息处理
死信:RabbitMQ的队列中的消息,满足以下条件任意其一就会成为死信消息:
1.消息被拒绝
2.消息过期
3.队列满了
死信交换器:专门用来转发队列中的死信消息,将死信消息转发到指定的队列中
十分钟未支付,取消订单?
十分钟之后,消息会过期,过期后,通过死信交换器转发队列中的死信消息,将死信消息转发到指定的队列中,由消费者去处理。
我们可以通过死信+死信交换器实现延迟消息处理
RabbitMQ实现延迟消息处理有2种方式:
1、死信+死信交换器 代码实现(可控,更方便一些)
2、延迟消息插件
1、死信+死信交换器 代码实现(可控,更方便一些)
发送消息,到队列1,(产生延迟队列,产生死信)
一个消息,过一段时间,实现消费。
核心:
1.队列 是2个队列,第1个队列: 目的 产生死信(1.设置有效期2.不设置消费者),借助死信交换器,把产生的死信发到指定的队列中
第二个对了:目的 消费死信,这里获取的信息,时间就是延迟的,延迟的就是上面的有效期
2.1个交换器
死信交换器,整个系统一般就一个,可以用来转发各个功能产生的死信,是Direct类型的交换,通过RK进行消息匹配到对应的队列中。
RabbitMQ的消息的有效期有2种设置方式:
1.设置队列上的有效期,整个队列中所有消息都使用
2.可以在每个消息上设置有效期,这种适用于有多个不同有效期的消息
如果队列和消息都有有效期,谁短听谁的。
代码:
RabbitMQ02
实现:
1.pom
<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><!-- RabbitMQ --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency></dependencies>
2.代码:
config-RabbitMQConfig
package com.yd.rabbitmq02.config;import org.springframework.amqp.core.*;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.HashMap;/*** @author MaoXiqi* @organization: Lucky* @create 2023-10-16 11:35:54* @description RabbitMQConfigApi*/
@Configuration
public class RabbitMQConfig {// 1.创建2个队列@Beanpublic Queue createQ1() {// 1.设置队列 内部消息有效期 设置死信交换器 设置RKHashMap<String, Object> params = new HashMap<>();// 设置队列中每个消息的有效期 单位 毫秒params.put("x-message-ttl", 3000);// 设置对应的死信交换器params.put("x-dead-letter-exchange", "dead-ex-yd");// 设置交换器匹配的路由名称params.put("x-dead-letter-routing-key", "test");return QueueBuilder.durable("dl-q01").withArguments(params).build();}@Beanpublic Queue createQ2() {return new Queue("dl-q02");}// 2.创建1个交换器(1.fanout 2,direct 3.topic 4.header)-死信交换器direct类型@Beanpublic DirectExchange createDe() {return new DirectExchange("dead-ex-yd");}// 3.创建1个绑定@Beanpublic Binding createBd1(DirectExchange de) {return BindingBuilder.bind(createQ2()).to(de).with("test");}
}
2.1.创建两个队列
1、设置队列,内部消息有效期 设置死信交换器 设置RK 注意:参数名是固定的,值根据业务需求去改,值 单位是毫秒
2.2创建1个交换器(1.fanout 2.direct 3.tipic
4.header)-死信交换器direct类型
2.3.创建一个绑定
controller-DeadController
@GetMapping("send")public String sendDead(String msg) {System.out.println("发送消息," + msg + ",发送时间:" + System.currentTimeMillis());template.convertAndSend("", "dl-q01", msg);return "ok";}
发送
监听消息-主要是为了消费:
listener-DeadListener
@RabbitListener(queues = "dl-q02")public void handler(String m) {System.out.println("延迟消息,"+m+",接受时间:" +System.currentTimeMillis());}
yml:
spring:rabbitmq:host: 121.36.5.100port: 5672username: guestpassword: guest
server:port: 8082
测试:
RabbitMQ事务:
数据库中事务:保证数据一致性,特别是多个操作要么都成功,要么都失败
RabbitMQ事务:一次性发多条消息,需要开启事务,
RabbitMQ也有自己的事务,如果本次
使用步骤:
源码:RabbitMQ02
1.创建配置类
2.使用基于事务发送
3.监听消息
1.创建配置类
config-RabbitMQTranConfig
1.准备一个队列
2.创建事务管理器
// 创建事务管理器@Beanpublic RabbitTransactionManager createTran(ConnectionFactory factory) {return new RabbitTransactionManager(factory);}
2.controller-TranController
开启事务
发送消息
// 事务@Transactional // 需要开启SpringBoot的事务机制@GetMapping("sendmsg")public String sendMsg(String msg, int count) {// 开启 RabbitMQ的通道的事务template.setChannelTransacted(true);// 发送消息for (int i = 0; i < count; i++) {template.convertAndSend("", "yd-tran-q01", msg + "--" + count);// 出错,看看 事务是否生效if (i==2) {System.out.println(1/0);}}return "ok";}
3.listener-DeadListener
// 事务@RabbitListener(queues = "yd-tran-q01")public void handler2(String msg) {System.out.println("监听消息"+msg);// 处理业务逻辑 出错了}
手动ACK
RabbitMQ怎么防止消息丢失:
1.发送端没有发送过去
解决:
1.用事务
2.confirm消息确认机制 万能:转人工处理
2.MQ服务器丢失,MQ服务器蹦了,
解决:开启持久化
3.消费端消息丢失:
解决:自动应答,改成开始手动ACK
消息确认机制:默认是自动确认
消息的发送和接收是异步
RabbitMQ如何防止消息丢失:
代码:
config-RabbitMqTranConfig
//消费消息的⼿动应答@Beanpublic Queue createQ4() {return new Queue("yd-ack-q01");}
controller-DeadController
// 事务@Transactional // 需要开启SpringBoot的事务机制@GetMapping("sendmsg")public String sendMsg(String msg, int count) {// 开启 RabbitMQ的通道的事务template.setChannelTransacted(true);// 发送消息for (int i = 0; i < count; i++) {template.convertAndSend("", "yd-tran-q01", msg + "--" + count);// 出错,看看 事务是否生效if (i==2) {System.out.println(1/0);}}return "ok";}
listener-DeadListener
一般设置个上限,比如最多三次
@RabbitListener(queues = "yd-ack-q01")public void handler3(String msg, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) long tag) throws IOException {//消费者获取消息,默认采用的自动应答,就是获取就应答,这样MQ服务器就删除消息//还可以手动应答:结果:1.成功(MQ删除)2.失败(MQ消息)System.out.println("收到ACK消息,监听消息:" + msg);//拒绝消息 参数说明:1.消息id 2.结果 true 成功 false 拒绝 3.是否把消息添加回队列中channel.basicNack(tag,false,true);//成功消息 参数说明:1.消息id 2.结果 true 成功 false 拒绝//channel.basicAck(tag,true);// 处理业务逻辑 出错了}
消费消息的手动应答:
RabbitMQ默认的消费者消息获取模式采用的是手动应答
但是这种有缺陷,可能会出现,消息获取了但是业务出了问题,导致MQ也自动删除了消息,最终导致业务没有执行
所以为了解决这种问题,可以开启手动应答模式,结合自己的业务执行情况,如果业务执行成功,那么就成功应答,如果失败了,就拒绝消息,同时把消息再加回队列,这样就可以再次消息再次处理(加个上限)
测试
RabbitMQ如何保证消息的幂等性:
幂等性就是重复消费。
解决:
1.生成一个全局id,存入redis或者数据库,在消费者消费消息之前,查询一下该消息是否有小费过。
2.
用户充值,重复消费,相当如充值了多次,是一定要杜绝的。
不要返回值的时候,可以用RabbitMQ替代OpenFegin,因为消费完就不回了。MQ默认是单向的
短信发信可以用MQ,这个业务要做,做起来可能会很耗时,中间要经过运营商,过程不可控
RabbitMQ应用场景
消息通信,发送消息和接收消息,是异步
1.实现服务通信
用在微服务中,实现2个服务的通信,这种不带返回值的,只是为了执行另一个服务的方法执行
2.解决耗时操作
比如:邮件、短信、第三方接口等,比较耗时
3.解耦
4.提升性能
5.重复代码封装
6.削峰填谷(订单先下到redis中,再通过MQ和延迟队列,慢慢的从redis搬到mysql中)
关键词:异步、解耦、延迟
相关文章:

任务调度框架-如何实现定时任务+RabbitMQ事务+手动ACK
任务调度框架 Java中如何实现定时任务? 比如: 1.每天早上6点定时执行 2.每月最后一个工作日,考勤统计 3.每个月25号信用卡还款 4.会员生日祝福 5.每隔3秒,自动提醒 10分钟的超时订单的自动取消,每隔30秒或1分钟查询…...

修炼k8s+flink+hdfs+dlink(六:学习k8s)
一:增(创建)。 直接进行创建。 kubectl run nginx --imagenginx使用yaml清单方式进行创建。 二:删除。 kubectl delete pods/nginx 三:修改。 kubectl exec -it my-nginx – /bin/bash 四:查看。 …...

红队专题-从零开始VC++C/S远程控制软件RAT-MFC-[4]客户端与服务端连接
红队专题 招募六边形战士队员服务端编写新建工程server函数创建主线程类获取配置信息运行command 命令头文件里创建引用win32 类库/头文件startsocket 开始监听 类函数添加类StartSocketmysend/myrecv 设置 m_sockCommon 头文件MSGINFO_S 结构体 ThreadMain头文件runflag 启动 …...
Qt Designer生成ui文件,如何转py文件,如何运行
下面将逐步介绍ui文件如何转py文件,怎么运行的具体操作步骤 ui文件转py文件 1.使用Qt Designer生成ui文件,保存到本地 2.输入 cmd ,打开命令行窗口 3.进入ui文件的目录下,文件路径使用你本地存放ui文件的位置 cd /d ui文件路径…...

Python数据挖掘:自动售货机销售数据分析与应用
📕作者简介:热爱跑步的恒川,致力于C/C、Java、Python等多编程语言,热爱跑步,喜爱音乐的一位博主。 📗本文收录于恒川的日常汇报系列,大家有兴趣的可以看一看 📘相关专栏C语言初阶、C…...

【设计模式】设计模式概述
😀大家好,我是白晨,一个不是很能熬夜😫,但是也想日更的人✈。如果喜欢这篇文章,点个赞👍,关注一下👀白晨吧!你的支持就是我最大的动力!Ǵ…...

第六届“中国法研杯”司法人工智能挑战赛进行中!
第六届“中国法研杯”司法人工智能挑战赛 赛题上新! 第六届“中国法研杯”司法人工智能挑战赛(LAIC2023)目前已发布司法大模型数据和服务集成调度 、证据推理、司法大数据征文比赛、案件要素识别四大任务。本届大赛中,“案件要素…...

关于 passing ‘const xx’ as ‘this’ argument of 的错误
今天在写一个简单的函数时,编译时出现了如下的错误: 这个很简单的函数是这样的: struct bundle_set {uint32_t baseId;uint32_t endId;bool operator< (const bundle_set &a){return baseId < a.baseId;} }; 在网上搜索到都是说什…...

数据结构和算法(13):优先级队列
概述 按照事先约定的优先级,可以始终高效查找并访问优先级最高数据项的数据结构,也统称作优先级队列 优先级队列将操作对象限定于当前的全局极值者。 根据数据对象之间相对优先级对其进行访问的方式,与此前的访问方式有着本质区别…...
面试经典150题——Day15
文章目录 一、题目二、题解 一、题目 135. Candy There are n children standing in a line. Each child is assigned a rating value given in the integer array ratings. You are giving candies to these children subjected to the following requirements: Each chil…...

web APIs——第一天(上)
变量声明的时候建议 const优先,尽量使用const 原因: const语义化更好很多变量我们声明的时候就知道他不会被更改了,那为什么不用const呢?实际开发中也是,比如react框架,基本const如果你有纠结的时候&…...
【Leetcode】215. 数组中的第K个最大元素
一、题目 1、题目描述 给定整数数组 nums 和整数 k,请返回数组中第 k 个最大的元素。 请注意,你需要找的是数组排序后的第 k 个最大的元素,而不是第 k 个不同的元素。 你必须设计并实现时间复杂度为 O(n) 的算法解决此问题。 示例1: 输入: [3,2,1,5,6,4], k = 2 输出…...

服务器数据恢复-RAID5常见故障的数据恢复方案
raid5阵列常见故障: 1、服务器硬件故障或者RAID阵列卡故障; 2、服务器意外断电导致的磁盘阵列故障; 3、服务器RAID阵列阵列磁盘出现物理故障,如:电路板坏、磁头损坏、盘面划伤、坏扇区、固件坏等; 4、误操作…...

12个VIM编辑器的高级玩法
vim 是一个很好用的编辑器,应用十分广泛。但关于 vim,总有一些你不知道的事情,我们需要持续不断的学习。 我经常使用 vim,也经常在各大社区、论坛看到 vim 专家用户分享经验,今天我们就总结其中常用的一部分ÿ…...
⽜客论坛的笔记
项目描述: 一个基本功能完整的论坛项目。项目主要功能有: 基于邮件激活的注册方式,基于MD5加密与加盐的密码存储方式,登录功能加入了随机验证码的验证,实现登陆状态检查、为游客与已登录用户展示不同界面与功能。支持用户上传头像,…...
JS逆向分析某枝网的HMAC加密、wasm模块加密
这是我2022年学做JS逆向成功的例子,URL:(脱敏处理)aHR0cHM6Ly93d3cuZ2R0di5jbi9hdWRpb0NoYW5uZWxEZXRhaWwvOTE 逆向分析: 1、每次XHR的GET请求携带的headers包括: {"X-ITOUCHTV-Ca-Timestamp":…...

论坛介绍|COSCon'23开源商业(V)
众多开源爱好者翘首期盼的开源盛会:第八届中国开源年会(COSCon23)将于 10月28-29日在四川成都市高新区菁蓉汇举办。本次大会的主题是:“开源:川流不息、山海相映”!各位新老朋友们,欢迎到成都&a…...

Flink学习笔记(三):Flink四种执行图
文章目录 1、Graph 的概念2、Graph 的演变过程2.1、StreamGraph (数据流图)2.2、JobGraph (作业图)2.3、ExecutionGraph (执行图)2.4、Physical Graph (物理图) 1、Graph 的概念 Flink 中的执行图可以分成四层:StreamGraph -> JobGraph -> ExecutionGraph -&g…...

堆-----数据结构
引言 什么是堆?堆是一种特殊的数据结构(用数组表示的树)。 为什么要使用到堆?比如一场比赛,如果使用擂台赛的方式来决出冠军(实力第一),就很难知道实力第二的队伍是什么了。 但是…...
Java如何权衡是使用无序的数组还是有序的数组
在 Java 中,选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南: ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...

DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增:通道注意力模块(SE模块) class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

React19源码系列之 事件插件系统
事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...

[10-3]软件I2C读写MPU6050 江协科技学习笔记(16个知识点)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16...

Android 之 kotlin 语言学习笔记三(Kotlin-Java 互操作)
参考官方文档:https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java(供 Kotlin 使用) 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...
Device Mapper 机制
Device Mapper 机制详解 Device Mapper(简称 DM)是 Linux 内核中的一套通用块设备映射框架,为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程,并配以详细的…...

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.
ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #:…...

实战三:开发网页端界面完成黑白视频转为彩色视频
一、需求描述 设计一个简单的视频上色应用,用户可以通过网页界面上传黑白视频,系统会自动将其转换为彩色视频。整个过程对用户来说非常简单直观,不需要了解技术细节。 效果图 二、实现思路 总体思路: 用户通过Gradio界面上…...

Python训练营-Day26-函数专题1:函数定义与参数
题目1:计算圆的面积 任务: 编写一个名为 calculate_circle_area 的函数,该函数接收圆的半径 radius 作为参数,并返回圆的面积。圆的面积 π * radius (可以使用 math.pi 作为 π 的值)要求:函数接收一个位置参数 radi…...
Java并发编程实战 Day 11:并发设计模式
【Java并发编程实战 Day 11】并发设计模式 开篇 这是"Java并发编程实战"系列的第11天,今天我们聚焦于并发设计模式。并发设计模式是解决多线程环境下常见问题的经典解决方案,它们不仅提供了优雅的设计思路,还能显著提升系统的性能…...