当前位置: 首页 > news >正文

ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理

ShardingSphere 与 Spring 动态数据源切换机制的对比及原理

一、核心定位对比

维度ShardingSphereSpring动态数据源(如 AbstractRoutingDataSource
定位分布式数据库中间件轻量级多数据源路由工具
核心目标分库分表、读写分离、分布式事务多数据源动态切换
适用场景大数据量、高并发、复杂分片需求简单多数据源隔离(如多租户、环境隔离)
实现层级JDBC 驱动层(拦截并改写 SQL)应用层(基于 Spring AOP 或手动切换)

二、核心原理剖析

1. ShardingSphere 实现原理
应用层
ShardingSphere-JDBC
SQL解析引擎
是否分片?
路由引擎
直连默认数据源
分片规则匹配
目标数据源列表
SQL改写
物理连接获取
多线程执行
结果归并
返回统一结果

关键特性:

  • JDBC 驱动层拦截:通过自定义 JDBC 驱动拦截 SQL,实现透明化分片
  • SQL 改写引擎:自动将逻辑表名改写为物理表名(如 useruser_001
  • 分布式主键生成:内置 Snowflake 等算法生成全局唯一 ID
  • 读写分离路由:自动区分读写操作,路由到主库或从库

2. Spring 动态数据源实现原理
返回数据源Key
应用层
AbstractRoutingDataSource
determineCurrentLookupKey
目标数据源
获取物理连接
执行SQL

关键特性:

  • 数据源路由抽象:通过 determineCurrentLookupKey() 动态决定数据源
  • AOP 集成:通常结合 @DataSource 注解和切面实现自动切换
  • 简单配置:通过 Map 维护多个数据源
    @Bean
    public DataSource dataSource() {Map<Object, Object> targetDataSources = new HashMap<>();targetDataSources.put("ds1", ds1());targetDataSources.put("ds2", ds2());AbstractRoutingDataSource routingDataSource = new AbstractRoutingDataSource() {@Overrideprotected Object determineCurrentLookupKey() {return DataSourceContextHolder.get();}};routingDataSource.setTargetDataSources(targetDataSources);return routingDataSource;
    }
    

三、核心功能对比

功能ShardingSphereSpring动态数据源
分库分表✅ 支持复杂分片策略(哈希、范围等)❌ 仅支持简单数据源切换
SQL改写✅ 自动改写逻辑表名为物理表名❌ 不支持
读写分离✅ 内置负载均衡策略❌ 需自行实现
分布式事务✅ 支持 XA/SAGA 等模式❌ 依赖 Spring 事务管理器
跨库查询✅ 自动合并多数据源结果❌ 需手动处理
性能优化✅ 并行执行、连接池复用❌ 简单连接切换

四、技术实现差异

1. 路由触发机制
  • ShardingSphere

    // 通过 SQL 解析触发路由
    String sql = "SELECT * FROM user WHERE user_id = 123";
    ShardingRouter.route(sql); // 自动解析 user_id=123 → ds_1.user_003
    
  • Spring动态数据源

    // 需手动设置路由标识
    DataSourceContextHolder.set("ds2");
    jdbcTemplate.query(...); // 使用 ds2 执行
    DataSourceContextHolder.clear();
    
2. 事务管理
  • ShardingSphere

    // 分布式事务管理
    @ShardingTransactionType(TransactionType.XA)
    @Transactional
    public void crossDatabaseUpdate() {// 跨库操作...
    }
    
  • Spring动态数据源

    @Transactional
    public void multiDataSourceOp() {// 需保证所有操作在同一数据源// 跨数据源操作会破坏事务一致性
    }
    

五、选型建议

1. 使用 ShardingSphere 的场景
  • 单表数据量超过 500 万行
  • 需要自动化的分库分表、读写分离
  • 涉及跨分片查询和事务
  • 要求透明的 SQL 兼容性
2. 使用 Spring 动态数据源的场景
  • 多租户数据隔离(每个租户独立数据库)
  • 开发/测试环境动态切换数据源
  • 简单的读写分离(主从架构)
  • 轻量级多数据源需求(数据源数量 < 5)

六、混合架构示例

可将两者结合使用,实现多层数据路由:

租户A
租户B
应用层
Spring动态数据源
租户ID路由
ShardingSphere集群A
ShardingSphere集群B
分库分表数据源组
分库分表数据源组

配置示例:

// 第一层:Spring动态数据源(租户路由)
public class TenantRoutingDataSource extends AbstractRoutingDataSource {@Overrideprotected Object determineCurrentLookupKey() {return TenantContext.getCurrentTenant();}
}// 第二层:ShardingSphere数据源(分库分表)
@Bean
public DataSource shardingDataSourceA() {// 配置分片规则...return ShardingSphereDataSourceFactory.createDataSource(...);
}

七、性能对比

指标ShardingSphereSpring动态数据源
简单查询延迟10~15ms(含解析路由)2~5ms(直接路由)
跨分片查询吞吐量5000+ TPS(并行执行)不支持跨数据源查询
连接池管理分片级独立连接池全局统一连接池
高并发场景优(异步执行+连接复用)良(依赖连接池配置)

总结

  • ShardingSphere 是面向分布式数据库的“重型武器”,适合复杂分片场景,但需要付出一定的学习成本。
  • Spring动态数据源 是轻量级工具,适合简单多数据源需求,但功能有限。
  • 两者可结合使用:用 Spring 做租户级路由,ShardingSphere 处理分库分表,形成多层数据路由架构。

相关文章:

ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理

ShardingSphere 与 Spring 动态数据源切换机制的对比及原理 一、核心定位对比 维度ShardingSphereSpring动态数据源&#xff08;如 AbstractRoutingDataSource&#xff09;定位分布式数据库中间件轻量级多数据源路由工具核心目标分库分表、读写分离、分布式事务多数据源动态切…...

基于Django的协同过滤算法养老新闻推荐系统的设计与实现

基于Django的协同过滤算法养老新闻推荐系统&#xff08;可改成普通新闻推荐系统使用&#xff09; 开发工具和实现技术 Pycharm&#xff0c;Python&#xff0c;Django框架&#xff0c;mysql8&#xff0c;navicat数据库管理工具&#xff0c;vue&#xff0c;spider爬虫&#xff0…...

AI视频生成工具清单(附网址与免费说明)

以下是一份详细的AI视频制作网站总结清单&#xff0c;包含免费/付费信息及核心功能说明&#xff1a; AI视频生成工具清单&#xff08;附网址与免费说明&#xff09; 1. Synthesia 网址&#xff1a;https://www.synthesia.io是否免费&#xff1a;免费试用&#xff08;生成视频…...

JavaWeb学习——HTTP协议

HTTP 协议 什么是 HTTP 协议 HTTP&#xff08;超文本传输协议&#xff0c;HyperText Transfer Protocol&#xff09;是用于在客户端&#xff08;如浏览器&#xff09;和服务器之间传输超文本&#xff08;如网页、图片、视频等&#xff09;的应用层协议。它是现代互联网数据通…...

QP 问题(Quadratic Programming, 二次规划)

QP 问题&#xff08;Quadratic Programming, 二次规划&#xff09;是什么&#xff1f; QP&#xff08;Quadratic Programming&#xff0c;二次规划&#xff09;是一类优化问题&#xff0c;其中目标函数是二次型函数&#xff0c;约束条件可以是线性等式或不等式。 QP 问题是线…...

VSTO(C#)Excel开发2:Excel对象模型和基本操作

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github&#xff1a;codetoys&#xff0c;所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的&#xff0c;可以在任何平台上使用。 源码指引&#xff1a;github源…...

MySQL索引数据结构

目录 1 索引常用的数据结构 1.1 二叉树 1.2 平衡二叉树 1.3 红黑树 1.3 Hash表 1.4 B树 1.4 B树 2 MySQL索引的数据结构 2.1 MyISAM存储引擎索引 2.2 InnoDB存储引擎索引 2.2.1 聚集索引 2.2.2 非聚集索引 2.2.3 联合索引数 2.2.4 hash索引 1 索引常用的数据结构 1.1 二叉树 二…...

C 语 言 --- 数 组 (1)

C 语 言 --- 数 组1 数 组定义一维数组语 法 格 式初始化完 全 初 始 化不 完 全 初 始 化省 略 数 组 大 小不 初 始 化使 用 memset 初 始 化 类 型访 问 元 素一 维 数 组 在 内 存 中 的 存 储 总结 &#x1f4bb;作 者 简 介&#xff1a;曾 与 你 一 样 迷 茫&#xff0c;…...

[视频编码]rkmpp 实现硬件编码

mpi_enc_test的命令参数描述说明 命令参数的描述说明如下&#xff1a; 命令参数 描述说明 -i 输入的图像文件。 -o 输出的码流文件。 -w 图像宽度&#xff0c;单位为像素。 -h 图像高度&#xff0c;单位为像素。 -hstride 垂直方向相邻两行之间的距离&#xff0c;单…...

3D数字化:家居行业转型升级的关键驱动力

在科技日新月异的今天&#xff0c;家居行业正经历着一场前所未有的变革。从传统的线下实体店铺到线上电商平台的兴起&#xff0c;再到如今3D数字化营销的广泛应用&#xff0c;消费者的购物体验正在发生翻天覆地的变化。3D数字化营销不仅让购物变得更加智能和便捷&#xff0c;还…...

网安知识点

1.SQL注入漏洞产生的原因是&#xff1f; 前端传到后端的数据&#xff0c;没有经过任何处理&#xff0c;直接当作sql语句的一部分来执行 2.讲一下sql注入&#xff0c;写入webshell需要哪些前提条件 开启导入导出权限secure-file-priv 站点根目录位置/路径 mysql用户对站点根目…...

天津大学02-深度解读DeepSeek:部署、使用、安全【文末附下载链接】

大模型风险与不当用例——价值观错位 大模型与人类价值观、期望之间的不一致而导致的安全问题&#xff0c;包含&#xff1a;• 社会偏见&#xff08;Social Bias&#xff09;LLM在生成文本时强化对特定社会群体的刻板印象&#xff0c;例如将穆斯林与恐怖主义关联&#xff0c;或…...

【kubernetes】service

目录 1. 说明2. 原理2.1 服务注册2.2 服务发现2.3 负载均衡 3. Service的类型3.1 ClusterIP3.2 NodePort3.3 LoadBalancer3.4 ExternalName 4. 使用场景 1. 说明 1.kubernetes中的service主要用于提供网络服务&#xff0c;并实现微服务架构中的几个核心功能&#xff1a;全自动…...

Python卷积神经网络(CNN)来识别和计数不同类型的工业零件

以下三种类型工业零件为例&#xff0c;使用卷积神经网络&#xff08;CNN&#xff09;来识别和计数不同类型的工业零件。以下是Python实现步骤&#xff1a; 数据准备&#xff1a;收集并标注包含不同形状&#xff08;如方形、圆形、扇形&#xff09;的工业零件图像数据集。 模型…...

MoonSharp 文档二

目录 6.Sharing objects 我们先来简单谈谈类型描述符 先说类型描述 稍微复杂一点 调用静态成员 应该使用 “:” 还是 “.” 重载 ByRef 参数&#xff08;C# 中的 ref/out&#xff09; 索引器 userdata 上的运算符和元方法 扩展方法 事件 关于 InteropAccessMode 的…...

android 支持自定义布局、线程安全、避免内存泄漏的 Toast 工具类

支持自定义布局&#xff1a;可以灵活地显示自定义样式的 Toast。 线程安全&#xff1a;确保在主线程中显示 Toast&#xff0c;避免崩溃。 避免内存泄漏&#xff1a;使用 ApplicationContext 和取消机制&#xff0c;防止内存泄漏问题。 工具类&#xff1a;作为一个通用的工具…...

景联文科技:以精准数据标注赋能AI进化,构筑智能时代数据基石

在人工智能技术席卷全球的浪潮中&#xff0c;高质量数据已成为驱动AI模型进化的核心燃料。作为全球领先的AI数据服务解决方案提供商&#xff0c;景联文科技深耕数据标注领域多年&#xff0c;以技术为基、以专业为本&#xff0c;致力于为全球客户提供全场景、高精度、多模态的数…...

Mysql的卸载安装配置以及简单使用

MySQL其它问题已经更新在&#xff1a;MySQL完善配置---可视化-CSDN博客 一、卸载 ①控制面板卸载 ②C盘隐藏项目>ProgramData>mysql相关文件夹&#xff0c;还有Program file下的MySQL文件夹 ③开始菜单栏搜索>服务&#xff0c;找到MySQL相关服务删除&#xff0c;如果再…...

使用 ResponseBodyEmitter 实现异步响应式数据流处理

1. 概述 1.1 什么是 ResponseBodyEmitter ResponseBodyEmitter 是 Spring MVC 提供的一个接口,用于支持异步返回响应数据流。它允许在控制器方法中逐步发送数据给客户端,而无需一次性生成完整的响应。 1.2 使用场景 实时数据推送(如股票行情、聊天消息等)。大量数据分批…...

Uniapp项目运行到微信小程序、H5、APP等多个平台教程

摘要&#xff1a;Uniapp作为一款基于Vue.js的跨平台开发框架&#xff0c;支持“一次开发&#xff0c;多端部署”。本文将手把手教你如何将Uniapp项目运行到微信小程序、H5、APP等多个平台&#xff0c;并解析常见问题。 一、环境准备 在开始前&#xff0c;请确保已安装以下工具…...

Objective-C常用命名规范总结

【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名&#xff08;Class Name)2.协议名&#xff08;Protocol Name)3.方法名&#xff08;Method Name)4.属性名&#xff08;Property Name&#xff09;5.局部变量/实例变量&#xff08;Local / Instance Variables&…...

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时&#xff0c;可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案&#xff1a; 1. 检查电源供电问题 问题原因&#xff1a;多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

【git】把本地更改提交远程新分支feature_g

创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

【Oracle】分区表

个人主页&#xff1a;Guiat 归属专栏&#xff1a;Oracle 文章目录 1. 分区表基础概述1.1 分区表的概念与优势1.2 分区类型概览1.3 分区表的工作原理 2. 范围分区 (RANGE Partitioning)2.1 基础范围分区2.1.1 按日期范围分区2.1.2 按数值范围分区 2.2 间隔分区 (INTERVAL Partit…...

大数据学习(132)-HIve数据分析

​​​​&#x1f34b;&#x1f34b;大数据学习&#x1f34b;&#x1f34b; &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 用力所能及&#xff0c;改变世界。 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4…...

关键领域软件测试的突围之路:如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件&#xff0c;这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下&#xff0c;实现高效测试与快速迭代&#xff1f;这一命题正考验着…...

Pinocchio 库详解及其在足式机器人上的应用

Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库&#xff0c;专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性&#xff0c;并提供了一个通用的框架&…...

Hive 存储格式深度解析:从 TextFile 到 ORC,如何选对数据存储方案?

在大数据处理领域&#xff0c;Hive 作为 Hadoop 生态中重要的数据仓库工具&#xff0c;其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式&#xff0c;很多开发者常常陷入选择困境。本文将从底…...

C++使用 new 来创建动态数组

问题&#xff1a; 不能使用变量定义数组大小 原因&#xff1a; 这是因为数组在内存中是连续存储的&#xff0c;编译器需要在编译阶段就确定数组的大小&#xff0c;以便正确地分配内存空间。如果允许使用变量来定义数组的大小&#xff0c;那么编译器就无法在编译时确定数组的大…...

RSS 2025|从说明书学习复杂机器人操作任务:NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill

视觉语言模型&#xff08;Vision-Language Models, VLMs&#xff09;&#xff0c;为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展&#xff0c;机器人仍难以胜任复杂的长时程任务&#xff08;如家具装配&#xff09;&#xff0c;主要受限于人…...