当前位置: 首页 > news >正文

Java编程中,异步操作流程中,最终一致性以及重试补偿的设计与实现

一、背景

微服务设计中,跨服务的调用,由于网络或程序故障等各种原因,经常会出现调用失败而需要重试。另外,在异步操作中,我们提供接口让外部服务回调。回调过程中,也可能出现故障。

这就要求我们主动向外部服务发起查询,以获取外部服务的操作结果。

见下图:
在这里插入图片描述
这种异步操作流程,比较常见于支付系统,其思路值得借鉴。

本文主要是想介绍,在没有订单号、支付流水号等业务唯一性的场景下,使用一张任务表,实现上面的异步操作,达到最终一致性。

二、定时任务

在这里插入图片描述

1、定时查询

查询下一次重试时间早于当前时间的记录,每次拉取N条。定时机制,可以依赖xxl-job这样的分布式定时任务。

notifyTasksRepository.findTop50ByNextTimeBeforeOrderByNextTimeAsc(DateUtil.date());

2、指数级重试

   public void retry() {this.retryTimes += 1;this.nextTime = calcNextRetryTime();this.lastTime = new Date();}private Date calcNextRetryTime() {final ZoneId zone = ZoneId.systemDefault();final LocalDateTime lastTime = LocalDateTime.ofInstant(Instant.now(), zone);final LocalDateTime nextTime = lastTime.plus(exp(this.retryTimes), ChronoUnit.MILLIS);final Instant instant = nextTime.atZone(zone).toInstant();return Date.from(instant);}private long exp(int retryCount) {long waitTime = ((long) Math.pow(2, retryCount) * 1000L);return waitTime;}

3、请求流水号

既然是微服务之间的异步操作流程,就需要设计一个类似于订单号,能够贯穿整个流程。它就是请求流水号,要求是不能重复。发起请求、回调通知和主动查询,都是需要传递该字段。

4、notifyParams参数

这是一个json格式的string字符串,当外部服务是post请求的时候,请求报文就保存在该字段。
而如果仅仅是保存http接口的请求入参的话,在实际不同的业务还是不够的。
所以,需要你把业务中需要透传的字段,也都保存在该字段里。

比如:http接口,需要requestNo和classroomId两个字段就可以了。而你的业务系统里,还需要字段:课程编号和讲次编号,那么请一并把它们都保存进去。
待外部服务回调的时候,根据requestNo请求流水号查询任务,需要反解析该字段,取出需要的课程编号和讲次编号。
如此一来,很好地体现了任务表的抽象性,又满足了不同业务的具体性。
当然了,前提是任务的查询,不会把它们作查询条件。

@JsonIgnoreProperties(ignoreUnknown = true)
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class ClassroomCopyRequest {/*** 原课堂ID(http请求必填参数)*/private String classroomId;/*** 请求流水号(http请求必填参数)*/private String requestNo;/*** 讲次编号(透传参数)*/private String lectureNo;/*** 课程编号(透传参数)*/private String courseNo;/*** 任务编号(透传参数)*/private String taskCode;
}

三、代码设计

在这里插入图片描述
从上面的流程图,也可以看出,业务逻辑处理,是有两个方向:一是业务方的回调;二是定时任务的主动查询。

二者最终都需要发送一个异步事件,让异步线程池去处理。

所以,无论从哪个链路获取到的返回结果,都应该是一样的(实际上也如此)。
示例:
复制课堂,返回一个新的课堂ID。由于我们在不同的业务流程中,都会有复制课堂的需求,所以需要用任务编号加以区分。而外部服务是不会关注你的任务,更遑论任务编号了。

在异步设计中,尽量抽象系统之间的交互术语,而不能具化。

进一步说,复制课堂,只需要知道原课堂ID即可,不要去让它去关心是什么业务下的复制。
这就是请求流水号requestNo的巧妙设计之处。

@ApiModel
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class ClassroomCopyResultNotify {@ApiModelProperty(notes = "源课堂ID")private String sourceClassroomId;@ApiModelProperty(notes = "新课堂ID", required = true)@NotEmpty(message = "新课堂ID必填")private String newClassroomId;@ApiModelProperty(notes = "请求流水号", required = true)@NotEmpty(message = "请求流水号必填")private String requestNo;

1、回调通知接口

有了上面的回调报文,下面的接口设计就非常简单了。

    @ApiOperation(value = "异步通知课堂的复制结果")@PostMapping(value = {"/api/v1/classroom/copy/callback"})public ResponseEntity<?> copyResultNotify(@Validated @RequestBody ClassroomCopyResultNotify notify) {return ResponseEntity.ok(classroomAppService.copyResultNotify(notify));}

2、服务层ClassroomAppService.java

final NotifyTasks notifyTasks = notifyTasksRepository.findByRequestNoAndTaskCode(request.getRequestNo(),Constants.TaskCode.CLASSROOM_COPY_RESULT);if (null == notifyTasks) {if (log.isWarnEnabled()) {log.warn("请求流水号{}不存在", request.getRequestNo());}
}
//发送异步事件

3、事件订阅者

    @Subscribe@AllowConcurrentEvents@Transactional(rollbackFor = Throwable.class)public void onNotifySuccessEvent(NotifySuccessEvent event) {if (null == event || null == event.getTaskCode()) {return;}if (log.isInfoEnabled()) {log.info("订阅异步通知结果事件,详情={}", JsonUtils.toJsonString(event));}switch (event.getTaskCode()) {case Constants.TaskCode.CLASSROOM_COPY_RESULT:// 解析任务的入参final ClassroomCopyRequest copyRequest = JSON.parseObject(event.getRequestJson(), ClassroomCopyRequest.class);// 解析回调报文final ClassroomCopyResultNotify copyResponse = JSON.parseObject(event.getResponseJson(), ClassroomCopyResultNotify.class);// 调用业务逻辑处理break;default:break;}}

4、业务逻辑处理

经过上一步对参数和回调的解析,接下来就是不同业务的处理了。

处理完成后,删除任务即可。

// 业务处理
...
...
...
// 处理成功,删除定时任务
notifyTasksRepository.deleteByRequestNoAndTaskCode(requestNo, Constants.TaskCode.CLASSROOM_COPY_RESULT);

5、发起对外部服务的请求

ClassroomCopyRequest request = ClassroomCopyRequest.builder().requestNo(requestNo).classroomId(sourceClassroomId).lectureNo(lectureNo).courseNo(courseNo).taskCode(taskCode).build();// notify方法,发起Http请求,如果失败,则会像下面的语句一样,保存至定时任务表
notifyTasksService.notify(taskCode, requestNo, url, gson.toJson(request));// 保存至定时任务表
notifyTasksService.schedule(Constants.TaskCode.CLASSROOM_COPY_RESULT, requestNo,queryUrl, gson.toJson(request));
  • schedule()方法的定义见下:
public void schedule(String taskCode, String requestNo, String notifyUrl, String notifyParams)
  • 这里的设计思路是,发起外部服务的请求,同时保存主动查询的任务到库里。
  • 外部服务处理完成,回调我们的时候,需要把主动查询的任务届时删除。(防止不必要的查询)
  • 主动查询复制结果的任务,必须在发起请求的时候,同时就保存到库表里。这是因为回调的报文中只有请求流水号requestNo,在处理回调的时候,需反查出本任务记录。

四、任务的增删查改

这一小节,我们试着总结下对任务的操作。

1、新增

向外部服务发起请求的时候,保存主动查询的任务(任务内容见notifyParams)

2、删除

业务逻辑处理完成后,删除主动查询的任务。否则定时任务会一直轮询该任务,浪费性能。

3、查询

分布式定时任务,cron表达式规则下,每次查询N条待处理的任务列表。

4、修改

主动查询结果的任务,如果处理出现失败的时候,则需要更新下一次重试时间,支持指数级的退避重试。

五、总结

本文试着通过一个任务表,向你表述如何实现重试补偿,以实现跨服务间的最终一致性。

相关文章:

Java编程中,异步操作流程中,最终一致性以及重试补偿的设计与实现

一、背景 微服务设计中&#xff0c;跨服务的调用&#xff0c;由于网络或程序故障等各种原因&#xff0c;经常会出现调用失败而需要重试。另外&#xff0c;在异步操作中&#xff0c;我们提供接口让外部服务回调。回调过程中&#xff0c;也可能出现故障。 这就要求我们主动向外…...

吴恩达《机器学习》8-7:多元分类

在机器学习领域&#xff0c;经常会遇到不止两个类别的分类问题。这时&#xff0c;需要使用多类分类技术。本文将深入探讨多类分类&#xff0c;并结合学习内容中的示例&#xff0c;了解神经网络在解决这类问题时的应用。 一、理解多类分类 多类分类问题是指当目标有多个类别时…...

Postman批量运行用例

近期在复习Postman的基础知识&#xff0c;在小破站上跟着百里老师系统复习了一遍&#xff0c;也做了一些笔记&#xff0c;希望可以给大家一点点启发。 一&#xff09;注意点 有上传文件的接口&#xff0c;需要做如下设置&#xff1a; 1、打开能读取外部文件的开关 2、把需要…...

20个Golang最佳实践

在本教程中&#xff0c;我们将探讨 Golang 中的 20 个最佳编码实践。它将帮助您编写有效的 Go 代码。 #20&#xff1a;使用正确的缩进 良好的缩进使您的代码具有可读性。一致地使用制表符或空格&#xff08;最好是制表符&#xff09;并遵循 Go 标准缩进约定。 package main …...

Java 类之 java.lang.System

Java 类之 java.lang.System 文章目录 Java 类之 java.lang.System一、简介二、主要功能1、currentTimeMillis() - 获取当前时间的毫秒数说明代码示例 2、getProperty(String key) - 获取系统属性说明代码示例 3、exit(int status) - 终止虚拟机说明代码示例 4、arraycopy(Obje…...

认识Modbus通信协议(笔记)

Modbus 莫迪康 1979年 PLC 1969年 什么是modbus&#xff1f; 它是一个Bus&#xff0c;即总线协议。比如串口协议、IIC协议、SPI都是通信协议。 协议&#xff0c;顾名思义是一种规定和约束 Modbus协议是一种引用层的报文传输协议&#xff0c;RTU、ASCLL、TCP,都属于Modbus协…...

【算法】距离(最近公共祖先节点)

题目 给出 n 个点的一棵树&#xff0c;多次询问两点之间的最短距离。 注意&#xff1a; 边是无向的。所有节点的编号是 1,2,…,n。 输入格式 第一行为两个整数 n 和 m。n 表示点数&#xff0c;m 表示询问次数&#xff1b; 下来 n−1 行&#xff0c;每行三个整数 x,y,k&am…...

基于SpringBoot的SSMP整合案例(消息一致性处理与表现层开发)

消息一致性处理 在后端执行完相应的操作后&#xff0c;我们需要将执行操作后的结果与数据返回前端&#xff0c;前端 调用我们传回去的数据&#xff0c;前端是如何知道我们传回去的数据名称的&#xff1f; 答&#xff1a;前后端遵循了同一个"协议"。这个协议就是定义…...

c#之反射详解

总目录 文章目录 总目录一、反射是什么&#xff1f;1、C#编译运行过程2、反射与元数据3、反射的优缺点 二、反射的使用1、反射相关的类和命名空间1、System.Type类的应用2、System.Activator类的应用3、System.Reflection.Assembly类的应用4、System.Reflection.Module类的应用…...

synchronized jvm实现思考

底层实现时&#xff0c;为什么使用了cxq队列和entryList双向链表&#xff1f;这里为什么不跟AQS中使用一个队列就行了&#xff0c;加了一个entryList的目的是为了什么&#xff1f; 个人理解这里多一个entryList&#xff0c;可能是用于减少频繁的cas操作。假设存在很多锁竞争时&…...

【hive基础】hive常见操作速查

文章目录 一. hive变量操作1. 查看当前hive配置信息2. 设置变量3. 修改变量4. 进入hive终端重新加载配置 二. 执行hive sql三. 启动hive 一. hive变量操作 1. 查看当前hive配置信息 # 查看当前所有配置信息 hive > set ;# 查看某一项配置信息 hive >set hive.metastore…...

2024年山东省职业院校技能大赛中职组“网络安全”赛项竞赛试题-A

2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-A 一、竞赛时间 总计&#xff1a;360分钟 二、竞赛阶段 竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 A、B模块 A-1 登录安全加固 180分钟 200分 A-2 本地安全策略设置 A-3 流量完整性保护 A-4 …...

基于51单片机电子钟温度计数码显示设计( proteus仿真+程序+设计报告+讲解视频)

这里写目录标题 ✅1.主要功能&#xff1a;✅讲解视频&#xff1a;✅2.仿真设计✅3. 程序代码✅4. 设计报告✅5. 设计资料内容清单&&下载链接✅[资料下载链接&#xff1a;](https://docs.qq.com/doc/DS0Nja3BaQmVtWUpZ) 基于51单片机电子钟温度检测数码显示设计( proteu…...

jenkins+centos7上传发布net6+gitlab

工作中实践了一下jenkins的操作&#xff0c;所以记录一下这次经验&#xff0c;没有使用到docker 先看下成果&#xff1a; 选择发布项目 选择要发布的分支 构建中 发布成功 开始 首先安装好jenkins并注册自己的jenkins账号 因为我们的项目代码管理使用的是gitlab&#xff0c…...

python趣味编程-5分钟实现一个F1 赛车公路游戏(含源码、步骤讲解)

Python 中的 F1 赛车公路游戏及其源代码 F1 Race Road Game是用Python编程语言开发的,它是一个桌面应用程序。 这款 Python 语言的 F1 赛道游戏可以免费下载开源代码,它是为想要学习 Python 的初学者创建的。 该项目系统使用了 Pygame 和 Random 函数。 Pygame 是一组跨平…...

Kafka快速入门

文章目录 Kafka快速入门1、相关概念介绍前言1.1 基本介绍1.2 常见消息队列的比较1.3 Kafka常见相关概念介绍 2、安装Kafka3、初体验前期准备编码测试配置介绍 bug记录 Kafka快速入门 1、相关概念介绍 前言 在当今信息爆炸的时代&#xff0c;实时数据处理已经成为许多应用程序和…...

基于Pytorch的从零开始的目标检测

引言 目标检测是计算机视觉中一个非常流行的任务&#xff0c;在这个任务中&#xff0c;给定一个图像&#xff0c;你预测图像中物体的包围盒(通常是矩形的) &#xff0c;并且识别物体的类型。在这个图像中可能有多个对象&#xff0c;而且现在有各种先进的技术和框架来解决这个问…...

interview review

M: intrinsic matrix [ f x s c x 0 f y c y 0 0 1 ] \begin{bmatrix}f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix} ​fx​00​sfy​0​cx​cy​1​ ​ ( c x , c y ) (c_x, c_y) (cx​,cy​): camera center in pixels ( f x , f y …...

layui表头多出一列(已解决)

问题描述 &#xff1a;layui表头多出来一列&#xff0c;但是表体没有内容&#xff0c;很影响美观。 好像是原本的表格有滚轮&#xff0c;我操作放大之后滚轮没有了&#xff0c;但是滚轮自带的表头样式还在&#xff0c; 之后手动把这个样式隐藏掉了&#xff0c;代码如下&#xf…...

​LeetCode解法汇总307. 区域和检索 - 数组可修改

目录链接&#xff1a; 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目&#xff1a; https://github.com/September26/java-algorithms 原题链接&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 描述&#xff1a; 给你一个数…...

YOLOv7剪枝实战:5种高效剪枝方法对比与代码实现

YOLOv7剪枝实战&#xff1a;5种高效剪枝方法对比与代码实现 在目标检测领域&#xff0c;YOLOv7以其卓越的速度-精度平衡成为工业界宠儿。但当我们将模型部署到边缘设备或需要高吞吐量的生产环境时&#xff0c;原始模型的计算量和参数量往往成为瓶颈。这时&#xff0c;模型剪枝技…...

大语言模型推理能力突破

大语言模型原生推理能力增强课题 目录 大语言模型原生推理能力增强课题 当前LLM深层符号推理的核心瓶颈(结合场景实例) 1. 幻觉频发:符号推理的事实一致性崩塌 2. 自我纠错能力弱:缺乏闭环的校验与修正机制 3. 推理链条易断裂:长程逻辑依赖的一致性丢失 全链路原生推理能…...

Python开源代码管理避坑实战:从Git高级操作到Docker环境配置

前言&#xff1a;为什么你总在开源门前徘徊&#xff1f; “这个项目看起来好复杂&#xff0c;我连代码都看不懂...” “提交PR会不会被大佬嘲笑&#xff1f;” “环境配置又报错了&#xff0c;算了&#xff0c;下次再说吧” 如果你有过这些想法&#xff0c;别担心&#xff…...

从反射率到耐候性:5个关键参数教你像专业人士一样测试LED封装胶水

从反射率到耐候性&#xff1a;5个关键参数教你像专业人士一样测试LED封装胶水 在LED制造领域&#xff0c;封装胶水就像光学系统的"隐形工程师"&#xff0c;它不仅要牢固固定芯片和荧光粉&#xff0c;更承担着光线管理的关键任务。一款优质的高反射率封装胶水&#xf…...

SketchUp STL插件终极指南:5分钟掌握3D打印文件转换全流程

SketchUp STL插件终极指南&#xff1a;5分钟掌握3D打印文件转换全流程 【免费下载链接】sketchup-stl A SketchUp Ruby Extension that adds STL (STereoLithography) file format import and export. 项目地址: https://gitcode.com/gh_mirrors/sk/sketchup-stl 你是否…...

CCS:Code Composer Studio 12.8.1 窗口颜色改为深色

Code Composer Studio (CCS) 基于 Eclipse 平台开发&#xff0c;要将其界面改为深色模式&#xff0c;最推荐且有效的方法是安装 Eclipse Color Theme 插件。以下是针对 CCS 12.8.1 的具体操作步骤&#xff1a;&#x1f6e0;️ 第一步&#xff1a;安装主题插件在 CCS 菜单栏中&a…...

从乱码到清晰:一位开发者与iText7中文PDF的三年斗争史

从乱码到清晰&#xff1a;一位开发者与iText7中文PDF的三年斗争史 【免费下载链接】itext7-chinese-font 项目地址: https://gitcode.com/gh_mirrors/it/itext7-chinese-font "为什么我的PDF中文又变成方块了&#xff1f;" 这可能是每个Java开发者在处理中文P…...

电脑c盘变红了怎么清理?C盘清理工具与方法

电脑c盘变红了怎么清理&#xff1f;问题不难解决&#xff0c;关键是选对方法工具&#xff01;下面介绍实用的清理C盘方法&#xff0c;便于你解决C盘变红的问题哦&#xff01; 关于C盘清理工具&#xff0c;给大家安排一款针对C盘爆满的清理神器---Windows - Cleaner&#xff0c…...

80地理学院校2026考研复试线汇总【持续更新】

80地理学院校2026考研复试线汇总&#xff0c;已更新60多所高校复试线&#xff0c;其余学校持续更新中~武汉大学2026年地理学方向复试线&#xff1a;2026年中科院新疆生态与地理研究所复试线2026年中国矿业大学资源与地球科学学院复试线陕西师范大学2026年地理科学与旅游学院复试…...

容盛兴达丨 32 寸医院自助查询终端机嵌入式触摸查询服务一体机

在数字化浪潮席卷各行各业的今天&#xff0c;医疗机构正经历着从传统服务模式向智慧化、人性化转型的关键时期。医院大厅里&#xff0c;患者及家属常常面临信息获取不便、排队时间长、流程不清晰等困扰。如何利用科技手段优化服务流程、提升患者就医体验&#xff0c;成为医院管…...