当前位置: 首页 > news >正文

ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理

ShardingSphere 与 Spring 动态数据源切换机制的对比及原理

一、核心定位对比

维度ShardingSphereSpring动态数据源(如 AbstractRoutingDataSource
定位分布式数据库中间件轻量级多数据源路由工具
核心目标分库分表、读写分离、分布式事务多数据源动态切换
适用场景大数据量、高并发、复杂分片需求简单多数据源隔离(如多租户、环境隔离)
实现层级JDBC 驱动层(拦截并改写 SQL)应用层(基于 Spring AOP 或手动切换)

二、核心原理剖析

1. ShardingSphere 实现原理
应用层
ShardingSphere-JDBC
SQL解析引擎
是否分片?
路由引擎
直连默认数据源
分片规则匹配
目标数据源列表
SQL改写
物理连接获取
多线程执行
结果归并
返回统一结果

关键特性:

  • JDBC 驱动层拦截:通过自定义 JDBC 驱动拦截 SQL,实现透明化分片
  • SQL 改写引擎:自动将逻辑表名改写为物理表名(如 useruser_001
  • 分布式主键生成:内置 Snowflake 等算法生成全局唯一 ID
  • 读写分离路由:自动区分读写操作,路由到主库或从库

2. Spring 动态数据源实现原理
返回数据源Key
应用层
AbstractRoutingDataSource
determineCurrentLookupKey
目标数据源
获取物理连接
执行SQL

关键特性:

  • 数据源路由抽象:通过 determineCurrentLookupKey() 动态决定数据源
  • AOP 集成:通常结合 @DataSource 注解和切面实现自动切换
  • 简单配置:通过 Map 维护多个数据源
    @Bean
    public DataSource dataSource() {Map<Object, Object> targetDataSources = new HashMap<>();targetDataSources.put("ds1", ds1());targetDataSources.put("ds2", ds2());AbstractRoutingDataSource routingDataSource = new AbstractRoutingDataSource() {@Overrideprotected Object determineCurrentLookupKey() {return DataSourceContextHolder.get();}};routingDataSource.setTargetDataSources(targetDataSources);return routingDataSource;
    }
    

三、核心功能对比

功能ShardingSphereSpring动态数据源
分库分表✅ 支持复杂分片策略(哈希、范围等)❌ 仅支持简单数据源切换
SQL改写✅ 自动改写逻辑表名为物理表名❌ 不支持
读写分离✅ 内置负载均衡策略❌ 需自行实现
分布式事务✅ 支持 XA/SAGA 等模式❌ 依赖 Spring 事务管理器
跨库查询✅ 自动合并多数据源结果❌ 需手动处理
性能优化✅ 并行执行、连接池复用❌ 简单连接切换

四、技术实现差异

1. 路由触发机制
  • ShardingSphere

    // 通过 SQL 解析触发路由
    String sql = "SELECT * FROM user WHERE user_id = 123";
    ShardingRouter.route(sql); // 自动解析 user_id=123 → ds_1.user_003
    
  • Spring动态数据源

    // 需手动设置路由标识
    DataSourceContextHolder.set("ds2");
    jdbcTemplate.query(...); // 使用 ds2 执行
    DataSourceContextHolder.clear();
    
2. 事务管理
  • ShardingSphere

    // 分布式事务管理
    @ShardingTransactionType(TransactionType.XA)
    @Transactional
    public void crossDatabaseUpdate() {// 跨库操作...
    }
    
  • Spring动态数据源

    @Transactional
    public void multiDataSourceOp() {// 需保证所有操作在同一数据源// 跨数据源操作会破坏事务一致性
    }
    

五、选型建议

1. 使用 ShardingSphere 的场景
  • 单表数据量超过 500 万行
  • 需要自动化的分库分表、读写分离
  • 涉及跨分片查询和事务
  • 要求透明的 SQL 兼容性
2. 使用 Spring 动态数据源的场景
  • 多租户数据隔离(每个租户独立数据库)
  • 开发/测试环境动态切换数据源
  • 简单的读写分离(主从架构)
  • 轻量级多数据源需求(数据源数量 < 5)

六、混合架构示例

可将两者结合使用,实现多层数据路由:

租户A
租户B
应用层
Spring动态数据源
租户ID路由
ShardingSphere集群A
ShardingSphere集群B
分库分表数据源组
分库分表数据源组

配置示例:

// 第一层:Spring动态数据源(租户路由)
public class TenantRoutingDataSource extends AbstractRoutingDataSource {@Overrideprotected Object determineCurrentLookupKey() {return TenantContext.getCurrentTenant();}
}// 第二层:ShardingSphere数据源(分库分表)
@Bean
public DataSource shardingDataSourceA() {// 配置分片规则...return ShardingSphereDataSourceFactory.createDataSource(...);
}

七、性能对比

指标ShardingSphereSpring动态数据源
简单查询延迟10~15ms(含解析路由)2~5ms(直接路由)
跨分片查询吞吐量5000+ TPS(并行执行)不支持跨数据源查询
连接池管理分片级独立连接池全局统一连接池
高并发场景优(异步执行+连接复用)良(依赖连接池配置)

总结

  • ShardingSphere 是面向分布式数据库的“重型武器”,适合复杂分片场景,但需要付出一定的学习成本。
  • Spring动态数据源 是轻量级工具,适合简单多数据源需求,但功能有限。
  • 两者可结合使用:用 Spring 做租户级路由,ShardingSphere 处理分库分表,形成多层数据路由架构。

相关文章:

ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理

ShardingSphere 与 Spring 动态数据源切换机制的对比及原理 一、核心定位对比 维度ShardingSphereSpring动态数据源&#xff08;如 AbstractRoutingDataSource&#xff09;定位分布式数据库中间件轻量级多数据源路由工具核心目标分库分表、读写分离、分布式事务多数据源动态切…...

基于Django的协同过滤算法养老新闻推荐系统的设计与实现

基于Django的协同过滤算法养老新闻推荐系统&#xff08;可改成普通新闻推荐系统使用&#xff09; 开发工具和实现技术 Pycharm&#xff0c;Python&#xff0c;Django框架&#xff0c;mysql8&#xff0c;navicat数据库管理工具&#xff0c;vue&#xff0c;spider爬虫&#xff0…...

AI视频生成工具清单(附网址与免费说明)

以下是一份详细的AI视频制作网站总结清单&#xff0c;包含免费/付费信息及核心功能说明&#xff1a; AI视频生成工具清单&#xff08;附网址与免费说明&#xff09; 1. Synthesia 网址&#xff1a;https://www.synthesia.io是否免费&#xff1a;免费试用&#xff08;生成视频…...

JavaWeb学习——HTTP协议

HTTP 协议 什么是 HTTP 协议 HTTP&#xff08;超文本传输协议&#xff0c;HyperText Transfer Protocol&#xff09;是用于在客户端&#xff08;如浏览器&#xff09;和服务器之间传输超文本&#xff08;如网页、图片、视频等&#xff09;的应用层协议。它是现代互联网数据通…...

QP 问题(Quadratic Programming, 二次规划)

QP 问题&#xff08;Quadratic Programming, 二次规划&#xff09;是什么&#xff1f; QP&#xff08;Quadratic Programming&#xff0c;二次规划&#xff09;是一类优化问题&#xff0c;其中目标函数是二次型函数&#xff0c;约束条件可以是线性等式或不等式。 QP 问题是线…...

VSTO(C#)Excel开发2:Excel对象模型和基本操作

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github&#xff1a;codetoys&#xff0c;所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的&#xff0c;可以在任何平台上使用。 源码指引&#xff1a;github源…...

MySQL索引数据结构

目录 1 索引常用的数据结构 1.1 二叉树 1.2 平衡二叉树 1.3 红黑树 1.3 Hash表 1.4 B树 1.4 B树 2 MySQL索引的数据结构 2.1 MyISAM存储引擎索引 2.2 InnoDB存储引擎索引 2.2.1 聚集索引 2.2.2 非聚集索引 2.2.3 联合索引数 2.2.4 hash索引 1 索引常用的数据结构 1.1 二叉树 二…...

C 语 言 --- 数 组 (1)

C 语 言 --- 数 组1 数 组定义一维数组语 法 格 式初始化完 全 初 始 化不 完 全 初 始 化省 略 数 组 大 小不 初 始 化使 用 memset 初 始 化 类 型访 问 元 素一 维 数 组 在 内 存 中 的 存 储 总结 &#x1f4bb;作 者 简 介&#xff1a;曾 与 你 一 样 迷 茫&#xff0c;…...

[视频编码]rkmpp 实现硬件编码

mpi_enc_test的命令参数描述说明 命令参数的描述说明如下&#xff1a; 命令参数 描述说明 -i 输入的图像文件。 -o 输出的码流文件。 -w 图像宽度&#xff0c;单位为像素。 -h 图像高度&#xff0c;单位为像素。 -hstride 垂直方向相邻两行之间的距离&#xff0c;单…...

3D数字化:家居行业转型升级的关键驱动力

在科技日新月异的今天&#xff0c;家居行业正经历着一场前所未有的变革。从传统的线下实体店铺到线上电商平台的兴起&#xff0c;再到如今3D数字化营销的广泛应用&#xff0c;消费者的购物体验正在发生翻天覆地的变化。3D数字化营销不仅让购物变得更加智能和便捷&#xff0c;还…...

网安知识点

1.SQL注入漏洞产生的原因是&#xff1f; 前端传到后端的数据&#xff0c;没有经过任何处理&#xff0c;直接当作sql语句的一部分来执行 2.讲一下sql注入&#xff0c;写入webshell需要哪些前提条件 开启导入导出权限secure-file-priv 站点根目录位置/路径 mysql用户对站点根目…...

天津大学02-深度解读DeepSeek:部署、使用、安全【文末附下载链接】

大模型风险与不当用例——价值观错位 大模型与人类价值观、期望之间的不一致而导致的安全问题&#xff0c;包含&#xff1a;• 社会偏见&#xff08;Social Bias&#xff09;LLM在生成文本时强化对特定社会群体的刻板印象&#xff0c;例如将穆斯林与恐怖主义关联&#xff0c;或…...

【kubernetes】service

目录 1. 说明2. 原理2.1 服务注册2.2 服务发现2.3 负载均衡 3. Service的类型3.1 ClusterIP3.2 NodePort3.3 LoadBalancer3.4 ExternalName 4. 使用场景 1. 说明 1.kubernetes中的service主要用于提供网络服务&#xff0c;并实现微服务架构中的几个核心功能&#xff1a;全自动…...

Python卷积神经网络(CNN)来识别和计数不同类型的工业零件

以下三种类型工业零件为例&#xff0c;使用卷积神经网络&#xff08;CNN&#xff09;来识别和计数不同类型的工业零件。以下是Python实现步骤&#xff1a; 数据准备&#xff1a;收集并标注包含不同形状&#xff08;如方形、圆形、扇形&#xff09;的工业零件图像数据集。 模型…...

MoonSharp 文档二

目录 6.Sharing objects 我们先来简单谈谈类型描述符 先说类型描述 稍微复杂一点 调用静态成员 应该使用 “:” 还是 “.” 重载 ByRef 参数&#xff08;C# 中的 ref/out&#xff09; 索引器 userdata 上的运算符和元方法 扩展方法 事件 关于 InteropAccessMode 的…...

android 支持自定义布局、线程安全、避免内存泄漏的 Toast 工具类

支持自定义布局&#xff1a;可以灵活地显示自定义样式的 Toast。 线程安全&#xff1a;确保在主线程中显示 Toast&#xff0c;避免崩溃。 避免内存泄漏&#xff1a;使用 ApplicationContext 和取消机制&#xff0c;防止内存泄漏问题。 工具类&#xff1a;作为一个通用的工具…...

景联文科技:以精准数据标注赋能AI进化,构筑智能时代数据基石

在人工智能技术席卷全球的浪潮中&#xff0c;高质量数据已成为驱动AI模型进化的核心燃料。作为全球领先的AI数据服务解决方案提供商&#xff0c;景联文科技深耕数据标注领域多年&#xff0c;以技术为基、以专业为本&#xff0c;致力于为全球客户提供全场景、高精度、多模态的数…...

Mysql的卸载安装配置以及简单使用

MySQL其它问题已经更新在&#xff1a;MySQL完善配置---可视化-CSDN博客 一、卸载 ①控制面板卸载 ②C盘隐藏项目>ProgramData>mysql相关文件夹&#xff0c;还有Program file下的MySQL文件夹 ③开始菜单栏搜索>服务&#xff0c;找到MySQL相关服务删除&#xff0c;如果再…...

使用 ResponseBodyEmitter 实现异步响应式数据流处理

1. 概述 1.1 什么是 ResponseBodyEmitter ResponseBodyEmitter 是 Spring MVC 提供的一个接口,用于支持异步返回响应数据流。它允许在控制器方法中逐步发送数据给客户端,而无需一次性生成完整的响应。 1.2 使用场景 实时数据推送(如股票行情、聊天消息等)。大量数据分批…...

Uniapp项目运行到微信小程序、H5、APP等多个平台教程

摘要&#xff1a;Uniapp作为一款基于Vue.js的跨平台开发框架&#xff0c;支持“一次开发&#xff0c;多端部署”。本文将手把手教你如何将Uniapp项目运行到微信小程序、H5、APP等多个平台&#xff0c;并解析常见问题。 一、环境准备 在开始前&#xff0c;请确保已安装以下工具…...

后进先出(LIFO)详解

LIFO 是 Last In, First Out 的缩写&#xff0c;中文译为后进先出。这是一种数据结构的工作原则&#xff0c;类似于一摞盘子或一叠书本&#xff1a; 最后放进去的元素最先出来 -想象往筒状容器里放盘子&#xff1a; &#xff08;1&#xff09;你放进的最后一个盘子&#xff08…...

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

深入浅出:JavaScript 中的 `window.crypto.getRandomValues()` 方法

深入浅出&#xff1a;JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中&#xff0c;随机数的生成看似简单&#xff0c;却隐藏着许多玄机。无论是生成密码、加密密钥&#xff0c;还是创建安全令牌&#xff0c;随机数的质量直接关系到系统的安全性。Jav…...

为什么需要建设工程项目管理?工程项目管理有哪些亮点功能?

在建筑行业&#xff0c;项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升&#xff0c;传统的管理模式已经难以满足现代工程的需求。过去&#xff0c;许多企业依赖手工记录、口头沟通和分散的信息管理&#xff0c;导致效率低下、成本失控、风险频发。例如&#…...

【机器视觉】单目测距——运动结构恢复

ps&#xff1a;图是随便找的&#xff0c;为了凑个封面 前言 在前面对光流法进行进一步改进&#xff0c;希望将2D光流推广至3D场景流时&#xff0c;发现2D转3D过程中存在尺度歧义问题&#xff0c;需要补全摄像头拍摄图像中缺失的深度信息&#xff0c;否则解空间不收敛&#xf…...

跨链模式:多链互操作架构与性能扩展方案

跨链模式&#xff1a;多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈&#xff1a;模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展&#xff08;H2Cross架构&#xff09;&#xff1a; 适配层&#xf…...

网站指纹识别

网站指纹识别 网站的最基本组成&#xff1a;服务器&#xff08;操作系统&#xff09;、中间件&#xff08;web容器&#xff09;、脚本语言、数据厍 为什么要了解这些&#xff1f;举个例子&#xff1a;发现了一个文件读取漏洞&#xff0c;我们需要读/etc/passwd&#xff0c;如…...

vulnyx Blogger writeup

信息收集 arp-scan nmap 获取userFlag 上web看看 一个默认的页面&#xff0c;gobuster扫一下目录 可以看到扫出的目录中得到了一个有价值的目录/wordpress&#xff0c;说明目标所使用的cms是wordpress&#xff0c;访问http://192.168.43.213/wordpress/然后查看源码能看到 这…...

Linux nano命令的基本使用

参考资料 GNU nanoを使いこなすnano基础 目录 一. 简介二. 文件打开2.1 普通方式打开文件2.2 只读方式打开文件 三. 文件查看3.1 打开文件时&#xff0c;显示行号3.2 翻页查看 四. 文件编辑4.1 Ctrl K 复制 和 Ctrl U 粘贴4.2 Alt/Esc U 撤回 五. 文件保存与退出5.1 Ctrl …...

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.

ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #&#xff1a…...