ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理
ShardingSphere 与 Spring 动态数据源切换机制的对比及原理
一、核心定位对比
| 维度 | ShardingSphere | Spring动态数据源(如 AbstractRoutingDataSource) |
|---|---|---|
| 定位 | 分布式数据库中间件 | 轻量级多数据源路由工具 |
| 核心目标 | 分库分表、读写分离、分布式事务 | 多数据源动态切换 |
| 适用场景 | 大数据量、高并发、复杂分片需求 | 简单多数据源隔离(如多租户、环境隔离) |
| 实现层级 | JDBC 驱动层(拦截并改写 SQL) | 应用层(基于 Spring AOP 或手动切换) |
二、核心原理剖析
1. ShardingSphere 实现原理
关键特性:
- JDBC 驱动层拦截:通过自定义 JDBC 驱动拦截 SQL,实现透明化分片
- SQL 改写引擎:自动将逻辑表名改写为物理表名(如
user→user_001) - 分布式主键生成:内置 Snowflake 等算法生成全局唯一 ID
- 读写分离路由:自动区分读写操作,路由到主库或从库
2. Spring 动态数据源实现原理
关键特性:
- 数据源路由抽象:通过
determineCurrentLookupKey()动态决定数据源 - AOP 集成:通常结合
@DataSource注解和切面实现自动切换 - 简单配置:通过 Map 维护多个数据源
@Bean public DataSource dataSource() {Map<Object, Object> targetDataSources = new HashMap<>();targetDataSources.put("ds1", ds1());targetDataSources.put("ds2", ds2());AbstractRoutingDataSource routingDataSource = new AbstractRoutingDataSource() {@Overrideprotected Object determineCurrentLookupKey() {return DataSourceContextHolder.get();}};routingDataSource.setTargetDataSources(targetDataSources);return routingDataSource; }
三、核心功能对比
| 功能 | ShardingSphere | Spring动态数据源 |
|---|---|---|
| 分库分表 | ✅ 支持复杂分片策略(哈希、范围等) | ❌ 仅支持简单数据源切换 |
| SQL改写 | ✅ 自动改写逻辑表名为物理表名 | ❌ 不支持 |
| 读写分离 | ✅ 内置负载均衡策略 | ❌ 需自行实现 |
| 分布式事务 | ✅ 支持 XA/SAGA 等模式 | ❌ 依赖 Spring 事务管理器 |
| 跨库查询 | ✅ 自动合并多数据源结果 | ❌ 需手动处理 |
| 性能优化 | ✅ 并行执行、连接池复用 | ❌ 简单连接切换 |
四、技术实现差异
1. 路由触发机制
-
ShardingSphere:
// 通过 SQL 解析触发路由 String sql = "SELECT * FROM user WHERE user_id = 123"; ShardingRouter.route(sql); // 自动解析 user_id=123 → ds_1.user_003 -
Spring动态数据源:
// 需手动设置路由标识 DataSourceContextHolder.set("ds2"); jdbcTemplate.query(...); // 使用 ds2 执行 DataSourceContextHolder.clear();
2. 事务管理
-
ShardingSphere:
// 分布式事务管理 @ShardingTransactionType(TransactionType.XA) @Transactional public void crossDatabaseUpdate() {// 跨库操作... } -
Spring动态数据源:
@Transactional public void multiDataSourceOp() {// 需保证所有操作在同一数据源// 跨数据源操作会破坏事务一致性 }
五、选型建议
1. 使用 ShardingSphere 的场景
- 单表数据量超过 500 万行
- 需要自动化的分库分表、读写分离
- 涉及跨分片查询和事务
- 要求透明的 SQL 兼容性
2. 使用 Spring 动态数据源的场景
- 多租户数据隔离(每个租户独立数据库)
- 开发/测试环境动态切换数据源
- 简单的读写分离(主从架构)
- 轻量级多数据源需求(数据源数量 < 5)
六、混合架构示例
可将两者结合使用,实现多层数据路由:
配置示例:
// 第一层:Spring动态数据源(租户路由)
public class TenantRoutingDataSource extends AbstractRoutingDataSource {@Overrideprotected Object determineCurrentLookupKey() {return TenantContext.getCurrentTenant();}
}// 第二层:ShardingSphere数据源(分库分表)
@Bean
public DataSource shardingDataSourceA() {// 配置分片规则...return ShardingSphereDataSourceFactory.createDataSource(...);
}
七、性能对比
| 指标 | ShardingSphere | Spring动态数据源 |
|---|---|---|
| 简单查询延迟 | 10~15ms(含解析路由) | 2~5ms(直接路由) |
| 跨分片查询吞吐量 | 5000+ TPS(并行执行) | 不支持跨数据源查询 |
| 连接池管理 | 分片级独立连接池 | 全局统一连接池 |
| 高并发场景 | 优(异步执行+连接复用) | 良(依赖连接池配置) |
总结
- ShardingSphere 是面向分布式数据库的“重型武器”,适合复杂分片场景,但需要付出一定的学习成本。
- Spring动态数据源 是轻量级工具,适合简单多数据源需求,但功能有限。
- 两者可结合使用:用 Spring 做租户级路由,ShardingSphere 处理分库分表,形成多层数据路由架构。
相关文章:
ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理
ShardingSphere 与 Spring 动态数据源切换机制的对比及原理 一、核心定位对比 维度ShardingSphereSpring动态数据源(如 AbstractRoutingDataSource)定位分布式数据库中间件轻量级多数据源路由工具核心目标分库分表、读写分离、分布式事务多数据源动态切…...
基于Django的协同过滤算法养老新闻推荐系统的设计与实现
基于Django的协同过滤算法养老新闻推荐系统(可改成普通新闻推荐系统使用) 开发工具和实现技术 Pycharm,Python,Django框架,mysql8,navicat数据库管理工具,vue,spider爬虫࿰…...
AI视频生成工具清单(附网址与免费说明)
以下是一份详细的AI视频制作网站总结清单,包含免费/付费信息及核心功能说明: AI视频生成工具清单(附网址与免费说明) 1. Synthesia 网址:https://www.synthesia.io是否免费:免费试用(生成视频…...
JavaWeb学习——HTTP协议
HTTP 协议 什么是 HTTP 协议 HTTP(超文本传输协议,HyperText Transfer Protocol)是用于在客户端(如浏览器)和服务器之间传输超文本(如网页、图片、视频等)的应用层协议。它是现代互联网数据通…...
QP 问题(Quadratic Programming, 二次规划)
QP 问题(Quadratic Programming, 二次规划)是什么? QP(Quadratic Programming,二次规划)是一类优化问题,其中目标函数是二次型函数,约束条件可以是线性等式或不等式。 QP 问题是线…...
VSTO(C#)Excel开发2:Excel对象模型和基本操作
初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github:codetoys,所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的,可以在任何平台上使用。 源码指引:github源…...
MySQL索引数据结构
目录 1 索引常用的数据结构 1.1 二叉树 1.2 平衡二叉树 1.3 红黑树 1.3 Hash表 1.4 B树 1.4 B树 2 MySQL索引的数据结构 2.1 MyISAM存储引擎索引 2.2 InnoDB存储引擎索引 2.2.1 聚集索引 2.2.2 非聚集索引 2.2.3 联合索引数 2.2.4 hash索引 1 索引常用的数据结构 1.1 二叉树 二…...
C 语 言 --- 数 组 (1)
C 语 言 --- 数 组1 数 组定义一维数组语 法 格 式初始化完 全 初 始 化不 完 全 初 始 化省 略 数 组 大 小不 初 始 化使 用 memset 初 始 化 类 型访 问 元 素一 维 数 组 在 内 存 中 的 存 储 总结 💻作 者 简 介:曾 与 你 一 样 迷 茫,…...
[视频编码]rkmpp 实现硬件编码
mpi_enc_test的命令参数描述说明 命令参数的描述说明如下: 命令参数 描述说明 -i 输入的图像文件。 -o 输出的码流文件。 -w 图像宽度,单位为像素。 -h 图像高度,单位为像素。 -hstride 垂直方向相邻两行之间的距离,单…...
3D数字化:家居行业转型升级的关键驱动力
在科技日新月异的今天,家居行业正经历着一场前所未有的变革。从传统的线下实体店铺到线上电商平台的兴起,再到如今3D数字化营销的广泛应用,消费者的购物体验正在发生翻天覆地的变化。3D数字化营销不仅让购物变得更加智能和便捷,还…...
网安知识点
1.SQL注入漏洞产生的原因是? 前端传到后端的数据,没有经过任何处理,直接当作sql语句的一部分来执行 2.讲一下sql注入,写入webshell需要哪些前提条件 开启导入导出权限secure-file-priv 站点根目录位置/路径 mysql用户对站点根目…...
天津大学02-深度解读DeepSeek:部署、使用、安全【文末附下载链接】
大模型风险与不当用例——价值观错位 大模型与人类价值观、期望之间的不一致而导致的安全问题,包含:• 社会偏见(Social Bias)LLM在生成文本时强化对特定社会群体的刻板印象,例如将穆斯林与恐怖主义关联,或…...
【kubernetes】service
目录 1. 说明2. 原理2.1 服务注册2.2 服务发现2.3 负载均衡 3. Service的类型3.1 ClusterIP3.2 NodePort3.3 LoadBalancer3.4 ExternalName 4. 使用场景 1. 说明 1.kubernetes中的service主要用于提供网络服务,并实现微服务架构中的几个核心功能:全自动…...
Python卷积神经网络(CNN)来识别和计数不同类型的工业零件
以下三种类型工业零件为例,使用卷积神经网络(CNN)来识别和计数不同类型的工业零件。以下是Python实现步骤: 数据准备:收集并标注包含不同形状(如方形、圆形、扇形)的工业零件图像数据集。 模型…...
MoonSharp 文档二
目录 6.Sharing objects 我们先来简单谈谈类型描述符 先说类型描述 稍微复杂一点 调用静态成员 应该使用 “:” 还是 “.” 重载 ByRef 参数(C# 中的 ref/out) 索引器 userdata 上的运算符和元方法 扩展方法 事件 关于 InteropAccessMode 的…...
android 支持自定义布局、线程安全、避免内存泄漏的 Toast 工具类
支持自定义布局:可以灵活地显示自定义样式的 Toast。 线程安全:确保在主线程中显示 Toast,避免崩溃。 避免内存泄漏:使用 ApplicationContext 和取消机制,防止内存泄漏问题。 工具类:作为一个通用的工具…...
景联文科技:以精准数据标注赋能AI进化,构筑智能时代数据基石
在人工智能技术席卷全球的浪潮中,高质量数据已成为驱动AI模型进化的核心燃料。作为全球领先的AI数据服务解决方案提供商,景联文科技深耕数据标注领域多年,以技术为基、以专业为本,致力于为全球客户提供全场景、高精度、多模态的数…...
Mysql的卸载安装配置以及简单使用
MySQL其它问题已经更新在:MySQL完善配置---可视化-CSDN博客 一、卸载 ①控制面板卸载 ②C盘隐藏项目>ProgramData>mysql相关文件夹,还有Program file下的MySQL文件夹 ③开始菜单栏搜索>服务,找到MySQL相关服务删除,如果再…...
使用 ResponseBodyEmitter 实现异步响应式数据流处理
1. 概述 1.1 什么是 ResponseBodyEmitter ResponseBodyEmitter 是 Spring MVC 提供的一个接口,用于支持异步返回响应数据流。它允许在控制器方法中逐步发送数据给客户端,而无需一次性生成完整的响应。 1.2 使用场景 实时数据推送(如股票行情、聊天消息等)。大量数据分批…...
Uniapp项目运行到微信小程序、H5、APP等多个平台教程
摘要:Uniapp作为一款基于Vue.js的跨平台开发框架,支持“一次开发,多端部署”。本文将手把手教你如何将Uniapp项目运行到微信小程序、H5、APP等多个平台,并解析常见问题。 一、环境准备 在开始前,请确保已安装以下工具…...
Chapter03-Authentication vulnerabilities
文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...
ES6从入门到精通:前言
ES6简介 ES6(ECMAScript 2015)是JavaScript语言的重大更新,引入了许多新特性,包括语法糖、新数据类型、模块化支持等,显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var…...
51c自动驾驶~合集58
我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留,CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制(CCA-Attention),…...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解:由来、作用与意义**一、知识点核心内容****二、知识点的由来:从生活实践到数学抽象****三、知识的作用:解决实际问题的工具****四、学习的意义:培养核心素养…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...
rnn判断string中第一次出现a的下标
# coding:utf8 import torch import torch.nn as nn import numpy as np import random import json""" 基于pytorch的网络编写 实现一个RNN网络完成多分类任务 判断字符 a 第一次出现在字符串中的位置 """class TorchModel(nn.Module):def __in…...
面向无人机海岸带生态系统监测的语义分割基准数据集
描述:海岸带生态系统的监测是维护生态平衡和可持续发展的重要任务。语义分割技术在遥感影像中的应用为海岸带生态系统的精准监测提供了有效手段。然而,目前该领域仍面临一个挑战,即缺乏公开的专门面向海岸带生态系统的语义分割基准数据集。受…...
STM32HAL库USART源代码解析及应用
STM32HAL库USART源代码解析 前言STM32CubeIDE配置串口USART和UART的选择使用模式参数设置GPIO配置DMA配置中断配置硬件流控制使能生成代码解析和使用方法串口初始化__UART_HandleTypeDef结构体浅析HAL库代码实际使用方法使用轮询方式发送使用轮询方式接收使用中断方式发送使用中…...
Razor编程中@Html的方法使用大全
文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...
多模态图像修复系统:基于深度学习的图片修复实现
多模态图像修复系统:基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型(Stable Diffusion Inpainting)实现图像修复功能,结合文本描述和图片输入,对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
