当前位置: 首页 > news >正文

详谈分布式事务

目录

前言

1.sharding的分布式事务

2.分布式事务的产生原因

3.分布式事务的解决方案

3.1.DTP模型

3.2.分阶段提交

3.3.TCC模式

3.4.可靠消息服务

3.5.AT模式

3.6.Seata


前言

本文是前面一篇文章聊了基于sharding的分库分表后拓展出来的关于分布式事务的讨论,本文中将详细讲一下sharding中的分布式事务以及市面上常见的分布式事务解决方案。

1.sharding的分布式事务

  1. Sharding JDBC: Sharding JDBC 提供了对分布式事务的支持。它通过两阶段提交(2PC)协议来实现跨多个数据源的分布式事务。Sharding JDBC 会将事务中的操作发送到各个数据源执行,并在提交阶段协调所有数据源的提交操作,以保证事务的一致性。

  2. Sharding Proxy: Sharding Proxy 本身并不直接支持分布式事务。它主要是一个中间件,负责路由和转发客户端的 SQL 请求到后端的多个数据源。在 Sharding Proxy 中,跨多个数据源的事务操作会被拆分成多个独立的本地事务,每个数据源独立处理。这就意味着在 Sharding Proxy 中,跨多个数据源的事务并不会保证全局的一致性,需要应用程序自行处理分布式事务的逻辑。

sharing jdbc后在spring boot中如何使用分布式事务,代码示例:

@Service
public class MyService {
​@Autowiredprivate JdbcTemplate jdbcTemplate;
​@Transactionalpublic void performDistributedTransaction() {// 在事务范围内执行数据库操作jdbcTemplate.update("INSERT INTO table1 (column1) VALUES (?)", "value1");jdbcTemplate.update("INSERT INTO table2 (column1) VALUES (?)", "value2");// 手动抛出异常,模拟事务中的异常情况throw new RuntimeException("Simulated exception");}
}

是的你没看错,不用任何额外的配置,就是用spring的事务即可。因为sharding jdbc作为一个分库分表的技术栈,天生就有分布式事务问题,所以其默认就是开启分布式事务的,它的事务都是两阶段提交的。

说到分布式事务,我们来回顾一下之前聊过的分布式事务的内容。

2.分布式事务的产生原因


分布式事务是指在在分布式架构下一个事务中的不同子操作是在不同机器上执行的,子操作之间状态无法相互感知,其中有子操作出错后其他机器上的子操作无法正确回滚。

分布式事务产生的根本原因:各个服务之间无感知

举一个例子:

一个下单事务,包含创建订单,库存服务,需要顺序调用订单服务、库存服务。如果库存服务挂掉后,订单服务也是无法回滚的,因为订单服务感知不到库存服务是否成功,即无法感知到库存服务的状态。

3.分布式事务的解决方案


3.1.DTP模型


1994年,X/Open组织(即现在的Open Group)定义了分布式事务处理的DTP模型,该模型包括几个角色:

  • 应用程序(AP),服务
  • 事务管理器(TM),全局事务管理者
  • 资源管理器(RM),一般是数据库
  • 通信资源管理器(CRM),TM和RM之间的通信中间件

DTP模型中,一个分布式事务(全局事务)可以被拆分成多个本地事务,运行在不同的AP和和RM上。每个本地事务的ACID由自身保证,全局事务必须保证每个本地事务必须同时成功,若有一个失败其他事务必须回滚。由于本地事务之间相互是无法感知状态的,因此要通过CRM来通知各个本地事务,同步事务执行的状态。

由于各个本地事务之间需要通信,通信就需要标准,因此配套提出了XA通信标准。XA规定了DTP中CRM和TM之间的通信的接口规范,定义了用于通知事务开始、提交、终止、回滚等接口,各个数据库厂商之间必须实现该接口。

3.2.分阶段提交


分阶段提交,也叫两阶段提交(two-phase commit)。DTP模型落地实现的一种思想。

两阶段提交中,将事务分成两个阶段来执行:

  • 阶段一,准备阶段,各个本地事务执行自己事务内的逻辑,完成提交前的准备工作。
  • 阶段二,执行阶段,各个事务根据上一阶段的执行结果,进行提交或者回滚。

两阶段提交中有两个角色,协调者(coordinator)、参与者(voter)。

正常情况:

异常情况:

准备阶段协调者会询问每个参与者是否可以执行事务,每个事务参与者执行事务写入redo、undo日志,然后反馈事务的执行结果,只要有一个参与者返回的是disagree则说明失败,协调者会像各个参与者发出abort指令,各个事务收到指令后各自回滚事务。

两阶段提交的优点:

  • 方案成熟,很稳
  • 能保证强一致性

两阶段提交的缺点:

  • 单点故障,当协调者挂了之后后续的步骤就没办法进行了,被锁住的数据没办法解锁,会造成阻塞。
  • 数据锁定,分阶段提交由于过程被拆成两段,会造成本地事务的执行过程变长,数据会长时间处于锁定状态。

3.3.TCC模式


TCC模式是专门用来解决分阶段提交的缺陷的,减少数据锁定,避免阻塞问题。

TCC相当于是强化了两阶段提交,在分阶段提交中埋入了以下几个点位:

  • try,资源的检测和预留。
  • confirm,执行的业务操作提交,要求try成功的话confrim一定要能成功。
  • cancel,预留资源释放

经过TCC的强化埋点后两阶段提交变成了:

  • 准备阶段。try,资源预留,通知每个参与者去try一下数据资源,判断一下数据资源是否足以支撑之后的事务运行。每个参与者均try成功再执行下一步,否则直接cancel。
  • 执行阶段,confrim,让协调者通知各个参与者执行并提交事务(因为资源已经准备好了,执行和提交可以一气呵成),各个参与者confrim成功则成功,但凡有一个失败则通知协调者组织全局回滚、释放资源、退出。

TCC的优点:

TCC其实每个阶段都是单独的事务,try其实是个事务只是去摸一下看下阶段要的数据资源是否能用,confrim则是原来的包含业务逻辑的事务。这样的话就避免了两阶段提交中agree过程中对于数据的锁定,尽量避免了影响其他事务的执行。

TCC的缺点:

  • 编码成本,存在代码侵入需要开发人员手动编写TCC三步,开发的成本会比较高。
  • 弱一致性,TCC保证的是最终一致性,因为单个本地事务的执行和提交都包含在confirm一个步骤中,如果出现问题回滚前其实是没有保证一致性的,在这中间有其他读操作进来是能读到已经变动的数据的。

3.4.可靠消息服务


可靠消息服务起源自eBay,是将各个服务的本地事务串成一个链,依托MQ来保障分布式事务,比如服务A执行完服务后向MQ中存放自己执行成功的信息,MQ再向服务B推送消息叫它执行本地事务,服务B执行完本地事务后又告诉MQ,MQ继续向后续要执行本地事务的服务推送消息。

缺点:

由于是MQ主动向后续服务推送消息,后续服务要是失败了,前置服务感知不到,前置服务无法进行感知回滚。。所以可靠消息服务适用的场景有限。

3.5.AT模式


AT模式是Alibaba的seata组件开源出来的一种分布式事务解决方案,是对TCC的一种优化,解决了TCC模式中的的代码侵入、编码复杂等问题。

AT模式中,用户只需关注自己的业务SQL,seata框架会自动生成书屋的二阶段提交和回滚操作。

AT模式整个流程和TCC大致相同,不同点是在于AT模式将执行放在了一阶段:

  • 一阶段(开发者实现),正常编写业务逻辑,然后执行SQL,执行本地事务,并返回执行结果。
  • 二阶段(框架托管),根据一阶段的结果判断二阶段的做法,提交或者回滚。

 AT模式的底层原理:

在阶段一的时候拦截下所有SQL,框架会去解析这条SQL然后去数据库中查询出要操作的数据,存一份镜像叫before image,接下来执行SQL,执行完SQL后再查询一次,存一份叫after image。

到了阶段二的时候,比对before镜像和after镜像从而判断操作是否成功,如果一阶段的所有本地事务操作都是成功的,就会清空before镜像和after镜像,如果有一个是失败的各个本地事务就会根据属于自己的before镜像进行回滚。

after镜像是为了在回滚的时候进行比对,要是回滚时发现数据库中此时的数据和after镜像中记录的数据不相同,则说明数据又被动过了,产生了脏数据,此时就需要人工介入了。由于行锁的存在,产生脏数据的概率很低很低,after镜像只是留了一手。

AT模式中的角色:

AT模式中一共有三个角色

  • TC,服务协调者,是一个单独的服务。
  • TM,通信中间件。
  • RM,资源管理器,管理分支的事务处理,与TC进行通信注册分支事务和报告事务状态,驱动分支事务提交或者回滚。

TM、RM和服务是耦合在一起的,但是不侵入代码,以jar包的方式体现。

3.6.Seata


Seata是目前为止常用、流行切稳定的分布式事务解决方案,其在使用上对代码没有侵入,直接是基于配置的,使用方法见官方手册即可。在遇到分布式事务场景时,可以优先考虑使用seata来解决。

相关文章:

详谈分布式事务

目录 前言 1.sharding的分布式事务 2.分布式事务的产生原因 3.分布式事务的解决方案 3.1.DTP模型 3.2.分阶段提交 3.3.TCC模式 3.4.可靠消息服务 3.5.AT模式 3.6.Seata 前言 本文是前面一篇文章聊了基于sharding的分库分表后拓展出来的关于分布式事务的讨论&#xf…...

Java基础知识八股

1.为什么静态方法无法调用非静态方法? 回答:因为静态方法是随着类的加载而加载,而非静态方法则是随着类的实例化才会被加载,生存周期不一样,所以静态方法的生命周期更长 2.Java–内部类持有外部类导致内存泄露的原因和…...

【Linux】网络基础一

网络基础一 1.计算机网络背景1.1 网络发展1.2 认识 “协议” 2.网络协议初识2.1 协议分层2.2 OSI七层模型2.3 TCP/IP五层(或四层)模型 3. 网络传输基本流程3.1 网络传输流程图 4.数据包封装和分用5.网络中的地址管理 从今天开始我们将要从系统横跨到网络的学习了,因…...

Redis-2 Redis基础数据类型与基本使用

高级Redis应用进阶 一站式Redis解决方案-Redis-2 Redis基础数据类型与基本使用 源代码在GitHub - 629y/food-social-contact-parent: redis项目-美食社交APP 1. Redis基本数据类型 1.字符串(strings) set username zhangsan get username mset age 18 …...

python提取身份证中的生日和性别

1.代码 def sfzAnalysis(idNum):#检查身份证长度是否正确if len(idNum)!18:raise ValueError("身份证号码长度不正确,请输入一个18位的身份证号码。")#raise关键字在Python中有多种用途,主要涉及异常的抛出和错误处理#提取出生日期year idN…...

opencv 傅里叶变换(低通滤波 + 高通滤波)

文章目录 1、傅里叶变换2、通过numpy实现3、高通滤波器5、通过opencv实现傅里叶变换6、低通滤波器7、C实现傅里叶变换 1、傅里叶变换 时域分析:以时间作为参照物,世间万物都是随着时间变化而变化,并且不会停止 频域分析:认为世间万…...

Educational Codeforces Round 163 (Rated for Div. 2)(A,B,C,D,E)

比赛链接 好忙好忙好忙,慢慢补老比赛的题解了。 这场没啥算法,全是思维。有也是BFS,屎。 A. Special Characters 题意: 您将得到一个整数 n n n 。 您的任务是构建一串大写的拉丁字母。此字符串中必须正好有 n n n 个特殊字…...

索引常见面试题

面试中,MySQL 索引相关的问题基本都是一系列问题,都是先从索引的基本原理,再到索引的使用场景,比如: 索引底层使用了什么数据结构和算法?为什么 MySQL InnoDB 选择 Btree 作为索引的数据结构?什…...

【Unity】旋转的尽头是使用四元数让物体旋转

// 导入必要的命名空间 using System.Collections; using System.Collections.Generic; using UnityEngine;// 创建一个名为 RotateObj 的 MonoBehaviour 类,该类可以附加到 Unity 中的游戏对象上并控制其行为 public class RotateObj : MonoBehaviour {// Update 函…...

哔哩哔哩秋招Java二面

前言 作者:晓宜 个人简介:互联网大厂Java准入职,阿里云专家博主,csdn后端优质创作者,算法爱好者 一面过后面试官叫我别走,然后就直接二面,二面比较简短,记录一下,希望可以…...

OSPF特殊区域(stub\nssa)

stub区域——只有1类、2类、3类;完全stub区域——只有1类、2类 NSSA区域:本区域将自己引入的外部路由发布给其他区域,但不需要接收其他区域的路由 在NSSA区域的路由器上,引入外部路由时,不会转换成5类LSA&#xff0c…...

全球首位AI程序员诞生,将会对程序员的影响有多大?

随着全球首位AI程序员Devin的诞生,人工智能技术在编程领域的应用引发了广泛的讨论和思考。这一事件不仅标志着AI技术在软件开发领域的一大步进展,也引起了人们对未来编程职业发展的广泛关注。那么,AI程序员的出现究竟会对程序员的职业生涯产生…...

【晴问算法】提高篇—动态规划专题—最长上升子序列

题目描述 现有一个整数序列a1,a2,...,an​​​​​​,求最长的子序列(可以不连续),使得这个子序列中的元素是非递减的。输出该最大长度。 输入描述 第一行一个正整数n(1≤n≤100​​​​),表示序…...

天软特色因子看板(2024.3第5期)

该因子看板跟踪天软特色因子A08006(近一月日度买卖压力2),该因子为近一个月个股每日的相对价格位置,用以刻画股票所受买卖压力,取作 介于0~1间,指标值越大,反映股票在价格相对高位停留的时间越长,所面临的买…...

静态网络配置

一、查看网络命令 1.命令行查看网络配置 1、查看ip\硬件设备-网卡 ifconfig -a ifconfig ens160 网卡名称 ip addr show ip addr show ens160 nmcli device show ens160 nmcli con up ens160 2、主机名称 hostname hostname hfj.huaxia.com 3、查看路由和网关 rou…...

多种智能搜索算法可视化还原 3D 魔方

2024/03/19:程序更新说明(文末程序下载链接已更新) 版本:v1.0 → v1.2 ① 修复:将 CLOSED 表内容从优先级队列中分离开来,原优先级队列作 OPEN 表,并用链表树隐式地代替 CLOSED 表,以…...

Maven,pom.xml,查找 子jar包

在IDEA打开pom.xml&#xff0c;会看到这里&#xff1a; 然后如果有需要&#xff0c;把相关的 子jar包 去掉 <dependency><groupId>XXX</groupId><artifactId>XXX</artifactId><exclusions><exclusion><artifactId>xxx</a…...

MySQL中数据库表的监控

MySQL中数据库表的监控 &#xff08;1&#xff09;查看数据库中当前打开了哪些表&#xff1a;show OPEN TABLES &#xff0c;如图6-1-5所示。另外&#xff0c;还可以通过show OPEN TABLES where In_use > 0过滤出当前已经被锁定的表。 查看数据库中表的状态&#xff1a;SHO…...

【S5PV210_视频编解码项目】裸机开发2:实现PWM波形驱动蜂鸣器

开发内容介绍 基于芯片自带的PWM定时器模块&#xff0c;实现对PWM波形的控制&#xff0c;掌握pwm定时器的驱动程序开发。 开发理论架构 1&#xff09;pwm波形的产生的条件&#xff1a;在指定的IO口输出一定频率和占空比的波形 2&#xff09;pwm波形频率的影响因素&#xff1…...

js进阶-深入对象-内置构造函数-包装类

一. 创建对象的三种方式 1.1 利用对象字面量创建对象 const p {name:"kebi" }1.2 利用 new Object 创建对象 // const obj new Object()// obj.uname maidi// console.log(obj)const obj new Object({ uname: maidi })1.3 利用构造函数创建对象 大写字母开头的…...

Steam成就管理终极指南:如何用SteamAchievementManager掌控你的游戏成就

Steam成就管理终极指南&#xff1a;如何用SteamAchievementManager掌控你的游戏成就 【免费下载链接】SteamAchievementManager A manager for game achievements in Steam. 项目地址: https://gitcode.com/gh_mirrors/st/SteamAchievementManager SteamAchievementMana…...

Brigadier:企业级Mac驱动自动化部署的智能化解决方案

Brigadier&#xff1a;企业级Mac驱动自动化部署的智能化解决方案 【免费下载链接】brigadier Fetch and install Boot Camp ESDs with ease. 项目地址: https://gitcode.com/gh_mirrors/bri/brigadier 在混合计算环境中&#xff0c;Mac设备的Boot Camp驱动部署一直是IT管…...

深入K210人脸识别核心:手把手教你解读与优化196维特征值比对算法

深入K210人脸识别核心&#xff1a;手把手教你解读与优化196维特征值比对算法 在嵌入式AI领域&#xff0c;K210凭借其低功耗、高性能的特性成为人脸识别应用的理想选择。但真正让项目从"能运行"到"好用"&#xff0c;关键在于对196维特征值算法的深度掌控——…...

3分钟解决Minecraft语言障碍:MASA全家桶汉化包终极指南

3分钟解决Minecraft语言障碍&#xff1a;MASA全家桶汉化包终极指南 【免费下载链接】masa-mods-chinese 一个masa mods的汉化资源包 项目地址: https://gitcode.com/gh_mirrors/ma/masa-mods-chinese 还在为MASA模组复杂的英文界面而烦恼吗&#xff1f;每次打开Minecraf…...

Spring Boot 4.0 Agent集成实战:从字节码注入到可观测性闭环,3步实现零侵入监控升级

第一章&#xff1a;Spring Boot 4.0 Agent-Ready 架构演进与核心价值Spring Boot 4.0 标志着 JVM 应用可观测性与运行时增强能力的一次范式跃迁。其核心设计理念是原生支持 Java Agent 集成&#xff0c;不再将字节码增强视为“外部插件行为”&#xff0c;而是作为框架生命周期的…...

保姆级教程:用Python和Basemap绘制台风‘利奇马’期间的卫星云图(附完整代码)

用Python和Basemap绘制台风卫星云图实战指南 去年夏天&#xff0c;当超强台风"利奇马"逼近华东沿海时&#xff0c;气象部门发布了大量卫星云图数据。这些看似简单的彩色图片背后&#xff0c;其实隐藏着台风的强度、移动路径等关键信息。作为气象爱好者或相关领域的研…...

LAV Filters完全指南:让你的Windows媒体播放体验焕然一新

LAV Filters完全指南&#xff1a;让你的Windows媒体播放体验焕然一新 【免费下载链接】LAVFilters LAV Filters - Open-Source DirectShow Media Splitter and Decoders 项目地址: https://gitcode.com/gh_mirrors/la/LAVFilters 你是否曾经在Windows上播放视频时遇到格…...

【Dify插件开发黄金法则】:20年AI平台架构师亲授,从零构建可商用插件的5大核心步骤

第一章&#xff1a;Dify插件开发的底层逻辑与商业价值认知 Dify 插件系统并非简单的功能扩展接口&#xff0c;而是基于 LLM 应用编排范式重构的服务集成层。其底层依托于 OpenAPI 3.0 规范自动解析与运行时 Schema 校验机制&#xff0c;所有插件必须提供符合标准的 openapi.ya…...

【2026年最新600套毕设项目分享】微信小程序的新闻资讯系统(30117)

有需要的同学&#xff0c;源代码和配套文档领取&#xff0c;加文章最下方的名片哦 一、项目演示 项目演示视频 项目演示视频2 二、资料介绍 完整源代码&#xff08;前后端源代码SQL脚本&#xff09;配套文档&#xff08;LWPPT开题报告/任务书&#xff09;远程调试控屏包运…...

Dify金融问答合规配置实战指南:从0到1通过银保监AI问答备案的7个关键配置项

第一章&#xff1a;Dify金融问答合规配置的监管背景与备案逻辑近年来&#xff0c;金融领域人工智能应用加速落地&#xff0c;监管框架同步趋严。《生成式人工智能服务管理暂行办法》《金融行业大模型应用安全指引&#xff08;试行&#xff09;》及《银行保险机构数据安全管理办…...